WO2022075173A1 - 車載カメラ、車載カメラの制御装置、制御方法および車載カメラシステム - Google Patents

車載カメラ、車載カメラの制御装置、制御方法および車載カメラシステム Download PDF

Info

Publication number
WO2022075173A1
WO2022075173A1 PCT/JP2021/036114 JP2021036114W WO2022075173A1 WO 2022075173 A1 WO2022075173 A1 WO 2022075173A1 JP 2021036114 W JP2021036114 W JP 2021036114W WO 2022075173 A1 WO2022075173 A1 WO 2022075173A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
infrared light
camera
unit
vehicle camera
Prior art date
Application number
PCT/JP2021/036114
Other languages
English (en)
French (fr)
Inventor
祐太郎 山下
智詞 中山
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to DE112021005291.8T priority Critical patent/DE112021005291T5/de
Priority to US18/247,091 priority patent/US20230412904A1/en
Priority to JP2022555416A priority patent/JPWO2022075173A1/ja
Priority to CN202180067488.8A priority patent/CN116249634A/zh
Publication of WO2022075173A1 publication Critical patent/WO2022075173A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details

Definitions

  • This technology relates to an in-vehicle camera, an in-vehicle camera control device, a control method, and an in-vehicle camera system.
  • Patent Document 1 discloses a configuration in which a camera is mounted on a side surface portion such as a front pillar of a vehicle instead of a side mirror.
  • the recognition accuracy of the object from the side image is important. For that purpose, it is necessary to obtain an image with sufficient contrast, but it is difficult to provide a light with sufficient illuminance on the side surface of the vehicle due to space limitations.
  • this technology is a vehicle-mounted camera that is small enough to be incorporated into the side surface of a vehicle and can obtain images with sufficient recognition accuracy for side monitoring, and this vehicle-mounted camera. It is an object of the present invention to provide a control device and a control method thereof, as well as an in-vehicle camera system.
  • the in-vehicle camera is Infrared light source capable of projecting infrared light and A camera unit that has a lens unit and an image sensor unit and is sensitive to the wavelength of infrared light.
  • the vehicle-mounted camera may have a built-in substrate and further have a housing having a transparent material portion capable of transmitting the infrared light.
  • the transparent material portion may be one that is adhered to the housing by laser welding.
  • the camera unit may have a light-shielding unit that blocks the infrared light of the infrared light source with respect to the image pickup surface of the image pickup element unit.
  • the vehicle-mounted camera can transfer a back channel capable of superimposing and transferring control information for the camera unit and control information for the infrared light source, and a pixel signal obtained by the camera unit. It may further include a serializer having a forward channel.
  • the infrared light source may be composed of a plurality of infrared projectors having the same or different directivity.
  • the transparent material portion of the housing may be arranged on one surface of the housing through which the optical axis of the camera portion passes.
  • the vehicle-mounted camera may further include a mirror that refracts the light emitted from the infrared projector that has passed through the transparent material portion in a direction along the optical axis of the camera unit.
  • the in-vehicle camera control device is an in-vehicle camera arranged on the side surface of the vehicle, has an infrared light source, a lens unit, and an image pickup element unit, and has sensitivity to the wavelength of infrared light.
  • a control device for an in-vehicle camera including a camera unit, the infrared light source, and a substrate on which the camera unit is mounted. It includes a control unit that controls turning on of the infrared light source based on the recognition result of the image obtained by the in-vehicle camera.
  • the control unit may be configured to determine whether or not to turn left or right at an intersection in consideration of the recognition result of the image obtained by the vehicle-mounted camera.
  • control unit determines that overtaking is being planned from the internal state of the own vehicle when the ambient brightness does not satisfy a predetermined condition
  • the control unit sets the infrared light source of the in-vehicle camera to ON. It may be configured in.
  • the control unit may be configured to turn on the infrared light source of the vehicle-mounted camera when it is determined that the following vehicle is turning on the turn signal.
  • the control unit is configured to turn on the infrared light source of the vehicle-mounted camera when it is determined that there is another vehicle approaching by increasing the relative speed within a predetermined distance behind the other lane. May be good.
  • the control unit is configured to turn on the infrared light source of the vehicle-mounted camera when it is determined that there is another vehicle approaching at a reduced relative speed within a predetermined distance in front of the other lane. May be good.
  • the in-vehicle camera control method is an in-vehicle camera arranged on the side surface of the vehicle, which has an infrared light source, a lens unit, and an image pickup element, and has sensitivity to the wavelength of infrared light. It is a control method of an in-vehicle camera including a camera unit having the camera unit, the infrared light source, and a substrate on which the camera unit is mounted. The purpose is to control the on of the infrared light source based on the recognition result of the image obtained by the in-vehicle camera.
  • the in-vehicle camera system related to this technology is Infrared light source capable of projecting infrared light and A camera unit that has a lens unit and an image sensor unit and is sensitive to the wavelength of infrared light.
  • step S180 It is a flowchart which shows the detail of the determination of a step S180. It is a flowchart of lane change control to the right. It is a flowchart which shows the detail of step S302. It is a flowchart of lane change control to the left. It is a flowchart of right turn control at an intersection. It is a flowchart of a left turn control at an intersection. It is sectional drawing which shows the 1st modification of the infrared projector integrated in-vehicle camera which concerns on this technology. It is sectional drawing which shows the 2nd modification of the infrared projector integrated in-vehicle camera which concerns on this technology.
  • FIG. 1 is a cross-sectional view showing the configuration of an infrared projector-integrated vehicle-mounted camera according to the first embodiment of the present technology.
  • the in-vehicle camera 1 integrated with an infrared projector of the present embodiment includes an infrared light source 11, a camera unit 12, a main board 13 on which the infrared light source 11 and the camera unit 12 are mounted, and a housing 14 accommodating them.
  • an infrared light source 11 a camera unit 12
  • main board 13 on which the infrared light source 11 and the camera unit 12 are mounted
  • a housing 14 accommodating them.
  • the infrared light source 11 is capable of projecting infrared light, such as an infrared LED.
  • the camera unit 12 has sensitivity to the wavelength of infrared light, and is composed of a lens unit 15, an image sensor unit 16, a lens holder 17, and the like.
  • the image pickup device unit 16 may be composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, a CCD (Charge Coupled DEVICE) image sensor, or the like.
  • the lens holder 17 holds the lens unit 15 and has a light-shielding unit 18 that blocks the infrared light of the infrared light source 11 with respect to the image pickup surface of the image pickup element unit 16 mounted on the main substrate 13.
  • the lens holder 17 is arranged on the surface of the main substrate 13 by the adhesive portion 19 so as to surround the image sensor portion 16 in a plane and adhere to the surface.
  • one surface of the housing 14 through which the optical axis of the camera unit 12 passes is composed of the transparent material 20. That is, one end of the housing 14 is fully opened, and a transparent panel is joined to the end surface surrounding the opening by laser welding or the like so as to close the opening.
  • the lens barrel portion of the lens holder 17 is exposed to the outside through a hole portion 20a provided in the transparent material 20 of the housing 14.
  • a signal connection portion 21 for signal connection with the recognition ECU for automatic operation is provided on the surface of the housing 14 opposite to the side on which the transparent material 20 is arranged.
  • a connection board 23 electrically connected to the main board 13 through the first connector 22 is arranged in the housing 14, and the connection board 23 is recognized for automatic operation through the second connector 24 and the flexible wiring 25. It is connected to the signal connection unit 21 for signal connection with the ECU.
  • the image sensor unit 16 and the infrared light source 11 mounted on the main board 13 and the recognition ECU for automatic operation which will be described later, are electrically connected to each other.
  • FIG. 2 is a block diagram showing a configuration of a signal connection between the infrared projector integrated vehicle-mounted camera 1 and the recognition ECU for automatic driving.
  • the infrared projector-integrated vehicle-mounted camera and the recognition ECU for automatic driving are connected to each other through a serializer 26 such as an LVDS serializer.
  • the serializer 26 has a back channel capable of superimposing and transferring the control information of the camera unit 12 and the control information of the infrared light source 11, and a forward channel capable of transferring the pixel signal obtained by the camera unit 12.
  • I2C Inter-Integrated Circuit
  • MIPI Mobile Industry Procedure Processor Interface
  • GPIO General-purpose input / output
  • I2C I2C
  • the signal connection wiring between the in-vehicle camera 1 integrated with the infrared projector and the recognition ECU for automatic operation can be reduced to one system for each in-vehicle camera 1 integrated with the infrared projector, so that the total number of wirings can be suppressed.
  • FIG. 3 is a block diagram showing a configuration of a vehicle system using the infrared projector-integrated in-vehicle camera of the present embodiment.
  • the vehicle system includes a recognition ECU (Electronic Control Unit) 100 for automatic driving, a sensor 110 for front inspection, a sensor 120 for side monitoring composed of an in-vehicle camera 1 integrated with an infrared floodlight of the present embodiment, and a sensor 130 for rear monitoring. , Positioning sensor 140, illuminance sensor 150, communication means 160 with the outside such as the Internet, map data acquisition means 170, and vehicle control ECU 200.
  • the front audit sensor 110 is a sensor for monitoring the front when viewed from the own vehicle, and is, for example, a type, distance, position, etc. of an object existing in front using a LiDAR (light detection and ranking), a camera, a radar, and the like. It is a sensor that can detect information necessary for recognition of.
  • the side monitoring sensor 120 is a sensor for monitoring the side, particularly the rear of another lane, when viewed from the own vehicle, and is composed of the above-mentioned infrared projector integrated vehicle-mounted camera 1.
  • the side monitoring sensor 120 is opposed to the left and right sides of the own vehicle, and may be arranged, for example, on the left and right front piers.
  • the rear monitoring sensor 130 is a sensor for monitoring the rear when viewed from the own vehicle, and is necessary for recognizing the type, distance, position, etc. of an object existing behind using, for example, a LiDAR, a camera, or a radar. It is a sensor that can detect information.
  • the positioning sensor 140 is a sensor that acquires the position of the own vehicle by using, for example, GPS (Global Positioning System), GNSS (Global Navigation Satellite System), or the like.
  • the illuminance sensor 150 is a sensor that detects the brightness around the own vehicle, and is particularly used for determining daytime, nighttime, in a tunnel, and the like.
  • the communication means 160 with the outside is a means for communicating with a network such as the Internet.
  • the map data acquisition means 170 is a means for acquiring map data necessary for automatic driving.
  • the automatic operation recognition ECU 100 is, for example, a recognition data from an image obtained by a front inspection sensor 110, a side monitoring sensor 120, and a rear monitoring sensor 130, a positioning sensor 140, an illuminance sensor 150, and a means for communicating with the outside. It is a controller that generates control of each part, vehicle control information supplied to the vehicle control ECU 200, and the like based on the information obtained by the 160 and the map data acquisition means 170, and the information notified from the vehicle control ECU.
  • the vehicle control ECU 200 is a controller that controls each part of the vehicle such as a blinker, an accelerator, a steering wheel, and a brake based on the vehicle control information supplied from the automatic driving recognition ECU 100, for example.
  • the automatic operation recognition ECU 100 includes a first I / F unit 101, a second I / F unit 102, an object recognition unit 103, a CAN (Controller Area Network) communication unit 104, and a control unit 105. ..
  • the first I / F unit 101 is an interface with the front audit sensor 110, the side monitoring sensor 120, and the rear monitoring sensor 130.
  • the first I / F unit 101 supplies the image obtained by the front audit sensor 110, the side monitoring sensor 120, and the rear monitoring sensor 130 to the object recognition unit 103.
  • the second I / F unit 102 is an interface with the infrared light source 11, the positioning sensor 140, the illuminance sensor 150, the communication means 160 with the outside, and the map data acquisition means 170 in the side monitoring sensor 120.
  • the object recognition unit 103 refers to the type of object and the own vehicle based on the images obtained by the front audit sensor 110, the side monitoring sensor 120, and the rear monitoring sensor 130 by the first I / F unit 101. Recognize distance, movement, etc.
  • the CAN communication unit 104 processes communication between the automatic driving recognition ECU 100 and the vehicle control ECU 200.
  • the control unit 105 is used for positioning data, illuminance data, network acquisition information, map data acquired by the map data acquisition means 170, recognition data of the object recognition unit 103, and the like, which are input through the second I / F unit 102. Based on this, control of the infrared light source 11 in the side monitoring sensor 120, determination of whether to change lanes, and determination of whether to turn left / right at the intersection are performed.
  • FIG. 4 is a flowchart showing the control of the infrared light source 11.
  • the recognition ECU 100 for automatic operation (hereinafter referred to as "recognition ECU 100") first determines whether or not the environment is effective for infrared projection (step S100). The process of this step S100 will be described in more detail later. When the recognition ECU 100 determines that the infrared projection is not an effective environment, the recognition ECU 100 sets the left and right infrared light sources 11 to OFF (step S110). After this, the process returns to the beginning of step S100.
  • the recognition ECU 100 determines whether or not the own vehicle is within 5 m in front of the intersection (step S120). This determination can be made based on, for example, the positioning data acquired from the positioning sensor 140 and the map data acquired by the map data acquisition means 170. When it is determined that the own vehicle is within 5 m in front of the intersection, the recognition ECU 100 turns on the infrared light sources 11 of the left and right side monitoring sensors 120 (steps S130 and S140), respectively, and at the beginning of step S100. return.
  • the infrared light sources 11 of the left and right side monitoring sensors 120 are set to ON, and the images taken by the cameras 12 of the left and right side monitoring sensors 120 are set to ON. Will be in a state where it is possible to obtain. Note that "5 m" is an example and may be another predetermined distance.
  • the recognition ECU 100 When the own vehicle is not within 5 m in front of the intersection, the recognition ECU 100 overtakes the own vehicle by another vehicle traveling in the right lane when viewed from the own vehicle, or overtaking by the own vehicle with respect to another vehicle traveling in the right lane. Is expected (step S150). The details of this determination will be described later.
  • the recognition ECU 100 sets the infrared light source 11 on the right side to ON (step S160).
  • the recognition ECU 100 sets the infrared light source 11 on the right side to OFF (step S170).
  • the recognition ECU 100 determines whether or not the overtaking of the own vehicle by another vehicle traveling in the left lane when viewed from the own vehicle or the overtaking by the own vehicle with respect to the other vehicle traveling in the left lane is expected (). Step S180). The details of this determination will be described later.
  • the recognition ECU 100 sets the infrared light source 11 on the right side to ON (step S190).
  • the recognition ECU 100 sets the infrared light source 11 on the right side to OFF (step S200). After that, the process returns to the beginning of step S100.
  • the recognition ECU 100 first determines from the time on the Internet whether the present is nighttime or daytime (step S101). When it is not at night, the recognition ECU 100 determines that the environment requires infrared projection. At night, the recognition ECU 100 determines whether or not the own vehicle is in the tunnel based on the positioning data acquired by the positioning sensor 140 and the map data acquired by the map data acquisition means 170 (step S102). ). If the own vehicle is in the tunnel, the recognition ECU 100 determines that the environment requires infrared projection and sets the left and right infrared light sources 11 to ON.
  • the recognition ECU 100 uses the positioning data acquired by the positioning sensor 140 and the information acquired from the Internet to make it cloudy / rainy / rainy at the location of the own vehicle.
  • the fog generation status is examined (step S103), and if cloudy / rainy / fog is occurring, it is determined whether it is early morning / evening from the time on the Internet (step S104). If it is early morning / evening, the recognition ECU 100 considers that infrared projection is effective and sets the left and right infrared light sources 11 to ON. If it is cloudy / rainy / fog is not occurring, or if it is cloudy / rainy / fog but not early morning / evening, the left and right infrared light sources 11 are set to OFF.
  • step S150 The determination of the expectation of overtaking in step S150 can be made, for example, as follows. As shown in FIG. 6, first, the recognition ECU 100 determines whether or not the following vehicle has a right turn signal based on the rear image captured by the camera of the rear monitoring sensor 130 (step S151). When the following vehicle has a right turn signal, the recognition ECU 100 anticipates overtaking and sets the right infrared light source 11 to ON (step S160). When the following vehicle does not turn out the right turn signal, the recognition ECU 100 subsequently approaches the own vehicle while increasing the relative speed within 5 m behind the right two lanes based on the information obtained by the rear monitoring sensor 130. It is determined whether or not there is another vehicle coming (step S152).
  • the recognition ECU 100 anticipates overtaking and sets the infrared light source 11 on the right side to ON (step S160). When there is no such other vehicle, the recognition ECU 100 subsequently approaches the own vehicle while reducing the relative speed within 5 m in front of the two lanes on the right side of the own vehicle based on the information obtained by the forward monitoring sensor 101. It is determined whether or not there is another vehicle coming in (step S153). When it is determined that such another vehicle is present, the recognition ECU 100 sets the infrared light source 11 on the right side to ON (step S160). When there is no such other vehicle, the recognition ECU 100 sets the infrared light source 11 on the right side to OFF (step S170).
  • the recognition ECU 100 determines whether or not the own vehicle is planning to overtake from the internal state of the own vehicle, for example, the state of the turn signal, the traveling speed, the speed change, the steering state, and the like (step S181). ). When it is determined that overtaking is being planned, the recognition ECU 100 anticipates overtaking and sets the infrared light source 11 on the left side to ON (step S190). When not planning to overtake, the recognition ECU 100 determines whether there is another vehicle approaching the own vehicle while increasing the relative speed within 5 m behind the left two lanes based on the information obtained by the rear monitoring sensor 103. Determination (step S182).
  • the recognition ECU 100 sets the infrared light source 11 on the left side to ON in anticipation of overtaking (step S190).
  • the recognition ECU 100 subsequently approaches the own vehicle while reducing the relative speed within 5 m in front of the left two lanes based on the information obtained by the front monitoring sensor 101. It is determined whether or not there is (step S183).
  • the recognition ECU 100 sets the infrared light source 11 on the left side to ON (step S190).
  • the recognition ECU 100 sets the infrared light source 11 on the left side to OFF (step S200).
  • FIG. 8 is a flowchart of lane change control to the right.
  • This lane change control can be executed when the infrared light sources 11 of the left and right side monitoring sensors are ON.
  • the recognition ECU 100 resets the deceleration flag (step S301).
  • the recognition ECU 100 determines whether or not the lane can be changed to the right (step S302). Details of this determination will be described later.
  • the recognition ECU 100 outputs control information to the vehicle control ECU 200 so as to change to the right lane. As a result, the change to the right lane is executed (step S303).
  • the recognition ECU 100 determines whether or not the deceleration flag is set (step S304).
  • the state in which the deceleration flag is set means that the own vehicle is decelerating.
  • the recognition ECU 100 increases the vehicle speed to 5 km / h or more based on, for example, vehicle speed, positioning data, map data, sign information recognized from the front image obtained by the forward monitoring sensor 101, and the like. It is determined whether it is possible to raise it (step S305).
  • the recognition ECU 100 outputs control information to the vehicle control ECU 200, accelerates by 5 km / h (step S306), waits for a predetermined time, for example, 10 seconds (step S307), and returns to step S302.
  • the recognition ECU 100 is, for example, the vehicle speed, the positioning data, the map data, and the front obtained by the forward monitoring sensor 101. Based on the sign information recognized from the image, it is determined whether or not the vehicle speed can be reduced by 5 km / h or more (step S308). If possible, the recognition ECU 100 sets the deceleration flag (step S309), outputs control information to the vehicle control ECU 200, decelerates by 5 km / h (step S310), and waits for a predetermined time, for example, 10 seconds (step S310). S311), return to step S302. When it is impossible to reduce the vehicle speed by 5 km / h or more, the recognition ECU 100 stops changing lanes to the right (step S312).
  • FIG. 9 is a flowchart showing the details of step S302.
  • the recognition ECU 100 determines whether or not there is a lane in which the lane can be changed to the right front of the own vehicle based on the map data acquired by the map data acquisition means 170 and the front image acquired by the forward monitoring sensor 110 ((). Step S3021). If there is no lane in which the lane can be changed, the recognition ECU 100 returns to step S3021 again and repeats the determination of the presence or absence of the lane in which the lane can be changed.
  • the recognition ECU 100 determines whether or not there is another vehicle in the lane to the right of the own vehicle based on the image obtained by the side monitoring sensor 102 ( Step S3022). If there is another vehicle in the lane to the right of the next vehicle, the process proceeds to step 304. If there is no other vehicle in the lane to the right of one, then the recognition ECU 100 determines whether there is another vehicle in the lane to the right of two (step S3023), and the other vehicle is in the lane to the right of two.
  • step S3024 If the vehicle has a left turn signal (step S3024), it is determined that the vehicle is not in a situation where it is possible to change lanes to the right, and the process proceeds to step S304. Further, if there is no other vehicle in the two right lanes, or if there is another vehicle but the left turn signal is not turned on, it is determined that the lane can be changed to the right, and step S303. Move to.
  • FIG. 10 is a flowchart of lane change control to the left.
  • the control in this case is substantially the same as the control for changing lanes to the right except that the left and right sides are different, and thus the description thereof will be omitted.
  • FIG. 11 is a flowchart of right turn control at an intersection.
  • the recognition ECU 100 gives control information to the vehicle control ECU 200 so that the own vehicle enters the intersection and temporarily stops (step S501). Subsequently, the recognition ECU 100 determines whether or not there is an obstacle such as another vehicle or a pedestrian in the traveling direction based on the image obtained by the forward monitoring sensor 101 (step S502). If Yes, the recognition ECU 100 waits for a certain period of time, for example, 1 second (step S506), and returns to the determination in step S502.
  • the recognition ECU 100 may invade in the direction of travel by the time the right turn is completed, based on the image obtained by the forward monitoring sensor 101. It is determined whether or not there is an obstacle such as a certain other vehicle or a pedestrian (step S503). If Yes, the recognition ECU 100 waits for a certain period of time, for example, 1 second (step S506) in the same manner as described above, and returns to the determination in step S502.
  • step S503 the recognition ECU 100 may involve a motorcycle, a pedestrian, or the like from the right side based on the image obtained by the right side monitoring sensor 102. Determines whether or not is approaching (step S504). If Yes, the recognition ECU 100 waits for a certain period of time, for example, 1 second (step S506) in the same manner as described above, and returns to the determination in step S502. If No, the recognition ECU 100 outputs control information to the vehicle control ECU 200 and turns the own vehicle to the right at the intersection (step S505).
  • FIG. 12 is a flowchart of left turn control at an intersection.
  • the control in this case is substantially the same as the right turn control at an intersection except that the left and right sides are different, and thus the description thereof will be omitted.
  • the infrared light source 11 of the side monitoring sensor 120 is set to ON, and the brightness is sufficient for recognition accuracy. Side images can be obtained. This enables safer driving or automatic driving by adding a side image to the driver's field of view or the field of view for automatic driving.
  • the in-vehicle camera 1 of the present embodiment can be miniaturized by mounting the camera unit 12 and the infrared light source 11 on the same surface of one main board 13, and for this reason, it can also be used as a front pillar of a vehicle. Can be easily installed.
  • FIG. 13 is a diagram showing a modified example of an in-vehicle camera with an integrated infrared projector.
  • a plurality of infrared light sources 11 and 31 are mounted on this infrared projector-integrated vehicle-mounted camera.
  • the plurality of infrared light sources 11 and 31 those having different directivities may be adopted.
  • the plurality of infrared light sources 11 and 31 may be selected one by one and set to ON, or may be turned ON at the same time. Further, the plurality of infrared light sources 11 and 31 may have the same directivity.
  • the plurality of infrared light sources 11 and 31 to be used may be changed according to the recognition accuracy of the side image and the like.
  • the infrared light source 11 is arranged so that the infrared light is emitted in the direction along the optical axis of the camera unit 12, and the optical axis of the camera unit 12 of the housing 14 passes through.
  • the transparent material 20 is arranged on one surface.
  • the direction of the infrared light source 11 and the transparency of the housing 14 are transparent by changing the direction of the infrared light by using the reflector 32. The position of the material 20 can be changed.
  • this technology can also adopt the following configurations.
  • the transparent material portion is an in-vehicle camera that is adhered to the housing by laser welding.
  • the vehicle-mounted camera according to any one of (1) to (3) above.
  • the camera unit is an in-vehicle camera having a light-shielding unit that blocks the infrared light of the infrared light source with respect to the image pickup surface of the image pickup element unit.
  • the infrared light source is an in-vehicle camera composed of a plurality of infrared projectors having the same or different directivity.
  • (6) The vehicle-mounted camera according to any one of (1) to (5) above.
  • An in-vehicle camera further provided with a mirror that refracts the light of the infrared light source transmitted through the transparent material portion in a direction along the optical axis of the camera unit.
  • An in-vehicle camera arranged on the side surface of the vehicle, the camera unit having an infrared light source, a lens unit and an image pickup element unit, and having sensitivity to the wavelength of infrared light, and the infrared light source.
  • a control device for an in-vehicle camera including a substrate on which the camera unit is mounted.
  • a control device for an in-vehicle camera including a control unit that controls turning on of the infrared light source based on an image recognition result obtained by the in-vehicle camera.
  • the in-vehicle camera control device is a control device for an in-vehicle camera configured to determine whether or not to turn left or right at an intersection in consideration of the recognition result of an image obtained by the in-vehicle camera.
  • the in-vehicle camera control device according to (7) or (8) above.
  • the control unit determines that overtaking is being planned from the internal state of the own vehicle when the ambient brightness does not satisfy a predetermined condition, the control unit sets the infrared light source of the in-vehicle camera to ON.
  • In-vehicle camera control device configured in.
  • the in-vehicle camera control device according to any one of (7) to (9) above.
  • the control unit is a control device for an in-vehicle camera configured to turn on the infrared light source of the in-vehicle camera when it is determined that the following vehicle is turning on the turn signal.
  • the in-vehicle camera control device according to any one of (7) to (10) above.
  • the control unit is configured to turn on the infrared light source of the vehicle-mounted camera when it is determined that there is another vehicle approaching by increasing the relative speed within a predetermined distance behind the other lane.
  • In-vehicle camera control device (12) The in-vehicle camera control device according to any one of (7) to (11) above.
  • the control unit is configured to turn on the infrared light source of the vehicle-mounted camera when it is determined that there is another vehicle approaching at a reduced relative speed within a predetermined distance in front of the other lane.
  • In-vehicle camera control device (13) An in-vehicle camera arranged on the side surface of the vehicle, the camera unit having an infrared light source, a lens unit and an image pickup element unit, and having sensitivity to the wavelength of infrared light, and the infrared light source.
  • a method for controlling an in-vehicle camera including a substrate on which the camera unit is mounted.
  • a control method for an in-vehicle camera that controls turning on of the infrared light source based on an image recognition result obtained by the in-vehicle camera is provided.
  • a substrate on which the infrared light source and the camera unit are mounted With an in-vehicle camera equipped with An in-vehicle camera system including a control device including a control unit that controls turning on of the infrared light source based on an image recognition result obtained by the in-vehicle camera.
  • the in-vehicle camera is an in-vehicle camera system having a built-in substrate and a housing having a transparent material portion capable of transmitting infrared light.
  • the transparent material portion is an in-vehicle camera system that is adhered to the housing by laser welding.
  • the camera unit is an in-vehicle camera system having a light-shielding unit that blocks the infrared light of the infrared light source with respect to the image pickup surface of the image pickup element unit.
  • the vehicle-mounted camera system according to any one of (14) to (17) above.
  • the infrared light source is an in-vehicle camera system composed of a plurality of infrared projectors having a common directivity or different directivity. (19) The vehicle-mounted camera according to any one of (14) to (18) above.
  • the in-vehicle camera is an in-vehicle camera system further comprising a mirror that refracts the light of the infrared light source transmitted through the transparent material portion in a direction along the optical axis of the camera unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

この車載カメラは、赤外光を投光可能な赤外光源と、レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、前記赤外光源および前記カメラ部を搭載する基板と、を具備する。

Description

車載カメラ、車載カメラの制御装置、制御方法および車載カメラシステム
　本技術は、車載カメラ、車載カメラの制御装置、制御方法および車載カメラシステムに関する。
　車両の車線変更に際して、運転員は、隣接車線の後方状況をルームミラー、サイドミラーなどを用いて目視で確認する。近年、車両のミラーレス化により、従来のミラーに代えてカメラおよびディスプレイにより、隣接車線の状況を運転員に提供する技術が知られている。例えば、特許文献１には、サイドミラーに代えて、車両のフロントピラーなどの側面部にカメラを搭載する構成が開示されている。
　ところで、サイドカメラにより撮像された画像を自動運転に安全に用いるためには、その側方画像からの物体の認識精度が重要である。そのためには十分なコントラストの画像を得る必要があるが、車両の側面には十分な照度のライトを設けることはスペース上の制約から困難である。
特開２０２０‐０９７３４４号公報
　以上のような事情に鑑み、本技術は、車両の側面に組み込むことができる程度に小型であり、側方監視のための十分な認識精度の画像を得ることができる車載カメラと、この車載カメラの制御装置および制御方法、さらには車載カメラシステムを提供することを目的とする。
　上記目的を達成するため、本開示の一形態に係る車載カメラは、
　赤外光を投光可能な赤外光源と、
　レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、
　前記赤外光源および前記カメラ部を搭載する基板と、
　を具備する。
　前記車載カメラは、前記基板を内蔵し、前記赤外光を透過可能な透明材部位を有する筐体をさらに有するものであってよい。
　前記透明材部位は、レーザー溶着によって前記筐体に接着されたものであってよい。
　前記カメラ部は、前記撮像素子部の撮像面に対して前記赤外光源の赤外光を遮る遮光部を有するものであってよい。
　本開示の一形態に係る車載カメラは、前記カメラ部用の制御情報及び前記赤外光源用の制御情報を重畳して転送可能なバックチャンネルと、前記カメラ部により得られた画素信号を転送可能なフォワードチャンネルを有するシリアライザを、さらに具備するものであってよい。
　前記赤外光源は、指向性が同じまたは異なる複数の赤外投光器で構成されてもよい。
　前記筐体の透明材部位は、前記筐体において前記カメラ部の光軸が通過する一面に配置されたものであってよい。
　前記車載カメラは、前記透明材部位を透過した前記赤外投光器の発光を前記カメラ部の光軸に沿った方向に屈折させるミラーをさらに具備するものであってよい。
　本開示に係る車載カメラの制御装置は、車両の側面に配置された車載カメラであって、赤外光源と、レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、前記赤外光源および前記カメラ部を搭載する基板とを具備する車載カメラの制御装置であって、
　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する制御部を具備する。
　前記制御部は、前記車載カメラにより得られた画像の認識結果を加味して交差点を左折または右折の可否を判断するように構成されたものであってよい。
　前記制御部は、周囲の明るさが所定の条件を満足しないとき、自車両の内部状態から追い越しを企画中であることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成されてもよい。
　前記制御部は、後続の車両がウインカーを出していることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成されてもよい。
　前記制御部は、他車線の後方所定距離以内に相対速度を上げて接近してくる他車両がいることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成されてもよい。
　前記制御部は、他車線の前方所定距離以内に相対速度を下げて接近してくる他車両がいることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成されてもよい。
　さらに、本技術に係る車載カメラの制御方法は、車両の側面に配置された車載カメラであって、赤外光源と、レンズ部及び撮像素子を有し、赤外光の波長に対して感度を有するカメラ部と、前記赤外光源および前記カメラ部を搭載する基板とを具備する車載カメラの制御方法であって、
　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する、ことにある。
　さらに、本技術に係る車載カメラシステムは、
　赤外光を投光可能な赤外光源と、
　レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、
　前記赤外光源および前記カメラ部を搭載する基板と、
　を具備する車載カメラと、
　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する制御部を具備する制御装置と
　を有する。
本技術に係る第１の実施形態の赤外投光器一体型車載カメラの構成を示す断面図である。 赤外投光器一体型車載カメラ１と自動運転用認識ＥＣＵとの信号接続の構成を示すブロック図である。 本実施形態の赤外投光器一体型車載カメラを採用した車両システムの構成を示すブロック図である。 赤外光源１１の制御を示すフローチャートである。 ステップＳ１００の判断を示すフローチャートである。 ステップＳ１５０の追い越しの予期判断の詳細を示すフローチャートである。 ステップＳ１８０の判断の詳細を示すフローチャートである。 右への車線変更制御のフローチャートである。 ステップＳ３０２の詳細を示すフローチャートである。 左への車線変更制御のフローチャートである。 交差点での右折制御のフローチャートである。 交差点での左折制御のフローチャートである。 本技術に係る赤外投光器一体型車載カメラの第１の変形例を示す断面図である。 本技術に係る赤外投光器一体型車載カメラの第２の変形例を示す断面図である。
　以下、本技術に係る実施形態を図面を参照しながら説明する。
　＜第１の実施形態＞
　図１は、本技術に係る第１の実施形態の赤外投光器一体型車載カメラの構成を示す断面図である。
　本実施形態の赤外投光器一体型車載カメラ１は、赤外光源１１と、カメラ部１２と、赤外光源１１およびカメラ部１２を搭載するメイン基板１３と、これらを収容する筐体１４とを有する。
　赤外光源１１は、例えば赤外ＬＥＤなど、赤外光を投光可能なものである。
　カメラ部１２は、赤外光の波長に対して感度を有するものであって、レンズ部１５、撮像素子部１６、レンズホルダー１７などにより構成される。撮像素子部１６は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ ＤＥＶＩＣＥ）イメージセンサーなどで構成され得る。レンズホルダー１７は、レンズ部１５を保持し、メイン基板１３に実装された撮像素子部１６の撮像面に対して赤外光源１１の赤外光を遮る遮光部１８を有する。レンズホルダー１７はメイン基板１３の面に、接着部１９によって撮像素子部１６の周りを平面的に取り囲んで接着して配置される。
　赤外光源１１からの赤外光を筐体１４の外部に投光するために、筐体１４の、カメラ部１２の光軸が通過する一面は透明材２０で構成される。すなわち、筐体１４は、一端が全開口し、この開口を取り囲む端面に当該開口を塞ぐように透明なパネルがレーザー溶着などによって接合される。レンズホルダー１７の鏡筒部は、筐体１４の透明材２０に設けられた穴部２０ａを通して外に露出している。
　また、筐体１４において透明材２０が配置された側と反対側の面には、後述する自動運転用認識ＥＣＵとの信号接続のための信号接続部２１が設けられる。筐体１４内には、メイン基板１３と第１のコネクタ２２を通じて電気的に接続された接続基板２３が配置され、この接続基板２３は第２のコネクタ２４およびフレキシブル配線２５を通じて、自動運転用認識ＥＣＵとの信号接続のための信号接続部２１と接続される。これにより、メイン基板１３に搭載された撮像素子部１６および赤外光源１１と後述する自動運転用認識ＥＣＵとが互いに電気的に接続される。
　図２は、赤外投光器一体型車載カメラ１と自動運転用認識ＥＣＵとの信号接続の構成を示すブロック図である。
　同図に示すように、赤外投光器一体型車載カメラと自動運転用認識ＥＣＵとは、例えばＬＶＤＳシリアライザなどのシリアライザ２６を通じて接続される。シリアライザ２６は、カメラ部１２の制御情報及び赤外光源１１の制御情報を重畳して転送可能なバックチャンネルと、カメラ部１２により得られた画素信号を転送可能なフォワードチャンネルを有する。なお、カメラ部１２の制御情報の伝送プロトコルには、例えば、Ｉ２Ｃ（Ｉｎｔｅｒ－Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などが採用され得る。カメラ部１２により得られた画素信号の伝送プロトコルには例えばＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）などが採用され得る。赤外光源１１の制御情報の伝送プロトコルには、ＧＰＩＯ（Ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｉｎｐｕｔ/ｏｕｔｐｕｔ）やＩ２Ｃなどを用いることができる。
　これにより、赤外投光器一体型車載カメラ１と自動運転用認識ＥＣＵとの信号接続配線は、赤外投光器一体型車載カメラ１毎に一系統で済むので、全体の配線数を抑えることができる。
　図３は、本実施形態の赤外投光器一体型車載カメラを採用した車両システムの構成を示すブロック図である。
　車両システムは、自動運転用認識ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１００、前方監査用センサ１１０、本実施形態の赤外投光器一体型車載カメラ１で構成される側方監視用センサ１２０、後方監視用センサ１３０、測位センサ１４０、照度センサ１５０、インターネットなどの外部との通信手段１６０、地図データ取得手段１７０および車両制御ＥＣＵ２００を備えて構成される。
　前方監査用センサ１１０は、自車両から見て前方を監視するためのセンサであり、例えば、ＬｉＤＡＲ（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ）、カメラ、レーダーを使って前方に存在する物体の種別、距離、位置などの認識などに必要な情報を検出することが可能なセンサである。
　側方監視用センサ１２０は、自車両から見て側方、特に他車線の後方を監視するためのセンサであり、上記の赤外投光器一体型車載カメラ１で構成される。側方監視用センサ１２０は、自車両の左右に対置され、例えば、左右のフロントピアーなどに配置され得る。
　後方監視用センサ１３０は、自車両から見て後方を監視するためのセンサであり、例えば、ＬｉＤＡＲ、カメラ、レーダーを使って後方に存在する物体の種別、距離、位置などの認識などに必要な情報を検出することが可能なセンサである。
　測位センサ１４０は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）などを用いて自車両の位置を取得するセンサである。
　照度センサ１５０は、自車両周囲の明るさを検知するセンサであり、特に日中、夜間、トンネル内などの判定に用いられる。
　外部との通信手段１６０は、例えばインターネットなどのネットワークとの通信を行うための手段である。
　地図データ取得手段１７０は、自動運転に必要な地図データを取得する手段である。
　自動運転用認識ＥＣＵ１００は、例えば、前方監査用センサ１１０、側方監視用センサ１２０、後方監視用センサ１３０によって得られた画像からの認識データ、測位センサ１４０、照度センサ１５０、外部との通信手段１６０及び地図データ取得手段１７０によって得られた情報、さらには車両制御ＥＣＵより通知された情報に基づいて、各部の制御や、車両制御ＥＣＵ２００に供給する車両制御情報などを生成するコントローラである。
　車両制御ＥＣＵ２００は、例えば、自動運転用認識ＥＣＵ１００から供給された車両制御情報に基づいてウインカー、アクセル、ステアリング、ブレーキなどの車両各部の制御を行うコントローラである。
　自動運転用認識ＥＣＵ１００は、より詳細には、第１のＩ／Ｆ部１０１、第２のＩ／Ｆ部１０２、物体認識部１０３、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信部１０４および制御部１０５を備える。
　第１のＩ／Ｆ部１０１は、前方監査用センサ１１０、側方監視用センサ１２０および後方監視用センサ１３０とのインタフェースである。第１のＩ／Ｆ部１０１は、前方監査用センサ１１０、側方監視用センサ１２０および後方監視用センサ１３０により得られた画像を物体認識部１０３に供給する。第２のＩ／Ｆ部１０２は、側方監視用センサ１２０内の赤外光源１１、測位センサ１４０、照度センサ１５０、外部との通信手段１６０および地図データ取得手段１７０とのインタフェースである。
　物体認識部１０３は、第１のＩ／Ｆ部１０１によって前方監査用センサ１１０、側方監視用センサ１２０および後方監視用センサ１３０によって得られた画像に基づいて、物体の種類、自車両との距離、動きなどの認識を行う。
　ＣＡＮ通信部１０４は、自動運転用認識ＥＣＵ１００と車両制御ＥＣＵ２００との通信を処理するものである。
　制御部１０５は、第２のＩ／Ｆ部１０２を通じて入力された測位データ、照度データ、ネットワークからの取得情報、地図データ取得手段１７０により取得された地図データ、物体認識部１０３の認識データなどに基づいて、側方監視用センサ１２０内の赤外光源１１の制御、車線変更の可否判定、交差点の左折／右折の可否判定を行う。
　（赤外光源１１の制御）
　次に、本実施形態の赤外投光器一体型車載カメラ１の赤外光源１１の制御について説明する。
　図４は、赤外光源１１の制御を示すフローチャートである。
　自動運転用認識ＥＣＵ１００（以降「認識ＥＣＵ１００」と呼ぶ。）は、まず、赤外投光が有効な環境であるかどうかを判断する（ステップＳ１００）。このステップＳ１００の処理については後でより詳細に説明する。認識ＥＣＵ１００は、赤外投光が有効な環境ではないことを判定した場合、左右の赤外光源１１をＯＦＦに設定する（ステップＳ１１０）。この後、ステップＳ１００の最初に戻る。
　認識ＥＣＵ１００は、赤外投光が有効な環境であることを判定した場合、自車両が交差点の手前５ｍ以内にいるかどうかを判定する（ステップＳ１２０）。この判定は、例えば、測位センサ１４０より取得された測位データおよび地図データ取得手段１７０によって取得された地図データなどに基づき行い得る。自車両が交差点の手前５ｍ以内にいることが判定された場合、認識ＥＣＵ１００は、左右の側方監視用センサ１２０の赤外光源１１をそれぞれＯＮにし（ステップＳ１３０、Ｓ１４０）、ステップＳ１００の最初に戻る。すなわち、自車両が交差点に進入しようとしている状況が判定される都度、左右の側方監視用センサ１２０の赤外光源１１がＯＮに設定され、左右の側方監視用センサ１２０のカメラ１２による画像を得ることが可能な状態になる。なお、「５ｍ」は一例であって、その他の所定の距離であってよい。
　認識ＥＣＵ１００は、自車両が交差点の手前５ｍ以内にいない場合には、自車両から見て右側車線を走行する他車両による自車両の追い越し、あるいは右側車線内を走行する他車両に対する自車両による追い越しが予期されるかどうかを判断する（ステップＳ１５０）。この判断の詳細については後で説明する。上記いずれかの追い越しが予期される場合、認識ＥＣＵ１００は、右側の赤外光源１１をＯＮに設定する（ステップＳ１６０）。上記いずれの追い越しも予期されない場合には、認識ＥＣＵ１００は、右側の赤外光源１１をＯＦＦに設定する（ステップＳ１７０）。
　次に、認識ＥＣＵ１００は、自車両から見て左側車線内を走行する他車両による自車両の追い越し、あるいは左側車線を走行する他車両に対する、自車両による追い越しが予期されるかどうかを判断する（ステップＳ１８０）。この判断の詳細については後で説明する。上記いずれかの追い越しが予期される場合、認識ＥＣＵ１００は、右側の赤外光源１１をＯＮに設定する（ステップＳ１９０）。上記いずれの追い越しも予期されない場合には、認識ＥＣＵ１００は、右側の赤外光源１１をＯＦＦに設定する（ステップＳ２００）。その後、ステップＳ１００の最初に戻る。
　（ステップＳ１００の判断の詳細）
　赤外投光が有効な環境であるかどうかの判定は、例えば、次のように行い得る。
　図５に示すように、認識ＥＣＵ１００は、まずインターネットの時刻から現在が夜間であるか日中であるかを判断する（ステップＳ１０１）。夜間でない場合には、認識ＥＣＵ１００は、赤外投光が必要な環境であることを判断する。夜間である場合には、認識ＥＣＵ１００は、測位センサ１４０によって取得された測位データと地図データ取得手段１７０により取得された地図データに基づいて、自車両がトンネル内にいるかどうかを判断する（ステップＳ１０２）。自車両がトンネル内にいるならば、認識ＥＣＵ１００は赤外投光が必要な環境であることを判断して左右の赤外光源１１をＯＮに設定する。自車両がトンネル内にいると判断されなかった場合、次に認識ＥＣＵ１００は、測位センサ１４０によって取得された測位データとインターネットより取得した情報に基づいて自車両の位置する場所での曇天／雨天／霧の発生状況を調べ（ステップＳ１０３）、曇天／雨天／霧が発生している場合には、インターネットの時刻から早朝／夕方かを判断する（ステップＳ１０４）。早朝／夕方であるならば、認識ＥＣＵ１００は赤外投光が有効な状況であるとして、左右の赤外光源１１をＯＮに設定する。曇天／雨天／霧が発生していない場合、あるいは、曇天／雨天／霧が発生していても早朝／夕方でない場合は、左右の赤外光源１１をＯＦＦに設定する。
　（ステップＳ１５０の判断の詳細）
　ステップＳ１５０の追い越しの予期の判断は、例えば、次のように行い得る。
　図６に示すように、まず認識ＥＣＵ１００は、後方監視用センサ１３０のカメラで撮像された後方画像に基づき後続車両が右ウインカーを出しているかどうかを判断する（ステップＳ１５１）。後続車両が右ウインカーを出している場合、認識ＥＣＵ１００は追い越しを予期して右側の赤外光源１１をＯＮに設定する（ステップＳ１６０）。後続車両が右ウインカーを出していない場合、続いて認識ＥＣＵ１００は、後方監視用センサ１３０によって得られた情報に基づいて、右側二車線の後方５ｍ以内に相対速度を上げながら自車両に接近してくる他車両がいるかどうかを判定する（ステップＳ１５２）。そのような他車両がいることが判定された場合、認識ＥＣＵ１００は追い越しを予期して、右側の赤外光源１１をＯＮに設定する（ステップＳ１６０）。そのような他車両がいない場合、続いて認識ＥＣＵ１００は、前方監視センサ１０１によって得られた情報に基づいて、自車両から見て右側二車線の前方５ｍ以内に相対速度を下げながら自車両に接近してくる他車両がいるかどうかを判定する（ステップＳ１５３）。そのような他車両がいることが判定された場合、認識ＥＣＵ１００は右側の赤外光源１１をＯＮに設定する（ステップＳ１６０）。そのような他車両がいない場合、認識ＥＣＵ１００は、右側の赤外光源１１をＯＦＦに設定する（ステップＳ１７０）。
　（ステップＳ１８０の判断の詳細）
　図７に示すように、認識ＥＣＵ１００は、自車両が追い越しを企画中であるかどうかを、自車両の内部状態、例えばウインカーの状態、走行速度、速度変化、ステアリング状態などから判断する（ステップＳ１８１）。追い越しを企画中であることが判定された場合、認識ＥＣＵ１００は追い越しを予期して左側の赤外光源１１をＯＮに設定する（ステップＳ１９０）。追い越しの企画中でない場合、認識ＥＣＵ１００は、後方監視センサ１０３によって得られた情報に基づいて、左側二車線の後方５ｍ以内に相対速度を上げながら自車両に接近してくる他車両がいるかどうかを判定する（ステップＳ１８２）。そのような他車両がいることが判定された場合、認識ＥＣＵ１００は追い越しを予期して左側の赤外光源１１をＯＮに設定する（ステップＳ１９０）。そのような他車両がいない場合、続いて認識ＥＣＵ１００は、前方監視センサ１０１によって得られた情報に基づいて、左側二車線の前方５ｍ以内に相対速度を下げながら自車両に接近してくる他車両がいるかどうかを判定する（ステップＳ１８３）。そのような他車両がいることが判定された場合、認識ＥＣＵ１００は左側の赤外光源１１をＯＮに設定する（ステップＳ１９０）。そのような他車両がいなことが判定された場合、認識ＥＣＵ１００は、左側の赤外光源１１をＯＦＦに設定する（ステップＳ２００）。
　（車線変更制御）
　図８は、右への車線変更制御のフローチャートである。
　なお、この車線変更制御は、左右の側方監視センサの赤外光源１１がＯＮである場合に実行可能である。
　認識ＥＣＵ１００は、減速フラグをリセットする（ステップＳ３０１）。次に、認識ＥＣＵ１００は、右への車線変更が可能な状況であるかどうかを判断する（ステップＳ３０２）この判断の詳細については後で説明する。車線変更が可能な状況であることが判断された場合、認識ＥＣＵ１００は、右車線への変更を行うように車両制御ＥＣＵ２００に制御情報を出力する。これにより右車線への変更が実行される（ステップＳ３０３）。
　右への車線変更が可能な状況ではない場合、認識ＥＣＵ１００は、減速フラグがセットされているかどうかを判断する（ステップＳ３０４）。減速フラグがセットされた状態とは自車両が減速中であることを意味する。減速フラグがセットされていないとき、認識ＥＣＵ１００は、例えば、車速、測位データ、地図データ、前方監視センサ１０１により得られた前方画像から認識された標識情報などに基づいて、車速を５ｋｍ／ｈ以上上げることが可能であるかどうかを判断する（ステップＳ３０５）。Ｙｅｓの場合、認識ＥＣＵ１００は車両制御ＥＣＵ２００に制御情報を出力して５ｋｍ／ｈだけ加速し（ステップＳ３０６）、所定の時間例えば１０秒待って（ステップＳ３０７）、ステップＳ３０２にリターンする。
　また、減速フラグがセットされている場合、あるいは、車速を５ｋｍ／ｈ以上上げることが不可である場合、認識ＥＣＵ１００は、例えば、車速、測位データ、地図データ、前方監視センサ１０１により得られた前方画像から認識された標識情報などに基づいて、車速を５ｋｍ／ｈ以上下げることが可能であるかどうかを判断する（ステップＳ３０８）。可能である場合、認識ＥＣＵ１００は、減速フラグをセットし（ステップＳ３０９）、車両制御ＥＣＵ２００に制御情報を出力して５ｋｍ／ｈだけ減速し（ステップＳ３１０）、所定の時間例えば１０秒待って（ステップＳ３１１）、ステップＳ３０２にリターンする。車速を５ｋｍ／ｈ以上下げることが不可である場合には、認識ＥＣＵ１００は、右への車線変更を中止する（ステップＳ３１２）。
　図９は、ステップＳ３０２の詳細を示すフローチャートである。
　認識ＥＣＵ１００は、地図データ取得手段１７０により取得された地図データと前方監視センサ１１０により得られた前方画像に基づき、自車両から見て右前方に車線変更可能な車線がないかどうかを判断する（ステップＳ３０２１）。車線変更可能な車線がない場合、認識ＥＣＵ１００は、再度ステップＳ３０２１に戻って車線変更可能な車線の有無の判断を繰り返す。右前方に車線変更可能な車線がある場合、認識ＥＣＵ１００は、自車両から見て一つ右隣の車線に他車両がいるかどうかを側方監視用センサ１０２により得られた画像に基づき判断する（ステップＳ３０２２）。一つ右隣の車線に他車両がいるならば、ステップ３０４の判断に移る。一つ右隣の車線に他車両がいない場合には、次に、認識ＥＣＵ１００は、２つ右の車線に他車両がいるかどうかを判断し（ステップＳ３０２３）、２つ右の車線に存在する他車両が左ウインカーを出しているならば（ステップＳ３０２４）、右への車線変更が可能な状況にないことを判断し、ステップＳ３０４に移行する。また、２つ右の車線に他車両がいない場合、あるいは、他車両がいても、左ウインカーを出していない場合には、右への車線変更が可能な状況にあることが判断され、ステップＳ３０３に移行する。
　図１０は、左への車線変更制御のフローチャートである。
　この場合の制御は、右への車線変更制御と左右が異なるだけで実質的には同様であるため、説明を省略する。
（交差点での右左折制御）
　図１１は、交差点での右折制御のフローチャートである。
　認識ＥＣＵ１００は、自車両が交差点に進入し、一旦停止するように車両制御ＥＣＵ２００に制御情報を与える（ステップＳ５０１）。続いて認識ＥＣＵ１００は、前方監視センサ１０１により得られた画像に基づき、進行方向に他車両や歩行者等の障害物がいるかどうかを判断する（ステップＳ５０２）。Ｙｅｓである場合、認識ＥＣＵ１００は、一定時間例えば１秒待って（ステップＳ５０６）、ステップＳ５０２の判断にリターンする。進行方向に他車両や歩行者等の障害物がいない場合には、次に認識ＥＣＵ１００は、前方監視センサ１０１により得られた画像に基づき、右折完了までに進行方向に侵入してくる可能性のある他車両や歩行者などの障害物があるかどうかを判断する（ステップＳ５０３）。Ｙｅｓである場合、認識ＥＣＵ１００は、前記と同様に一定時間例えば１秒待って（ステップＳ５０６）、ステップＳ５０２の判断にリターンする。
　ステップＳ５０３の判断結果がＮｏである場合には、次に認識ＥＣＵ１００は、右側の側方監視センサ１０２により得られた画像に基づき、右側方からの二輪車や歩行者等の巻き込みの恐れがあるものが接近してくるかどうかを判断する（ステップＳ５０４）。Ｙｅｓである場合、認識ＥＣＵ１００は、前記と同様に一定時間例えば１秒待って（ステップＳ５０６）、ステップＳ５０２の判断にリターンする。Ｎｏである場合、認識ＥＣＵ１００は、車両制御ＥＣＵ２００に制御情報を出力して、自車両を交差点で右折させる（ステップＳ５０５）。
　図１２は、交差点での左折制御のフローチャートである。
　この場合の制御は、交差点での右折制御と左右が異なるだけで実質的には同様であるため、説明を省略する。
　以上のように、本実施形態によれば、例えば、夜間、トンネル内、天気不良時などに、側方監視用センサ１２０の赤外光源１１をＯＮに設定して、認識精度上十分な明るさの側方画像を得ることができる。これにより、運転者の視界や自動運転上の視界に側方画像を加えたより安全な運転あるいは自動運転が可能になる。
　また、本実施形態の車載カメラ１は、一つのメイン基板１３の同一面にカメラ部１２と赤外光源１１を実装したことで小型化が可能であり、このため、車両のフロントピラーなどにも容易に取り付けることができる。
　＜変形例１＞
　図１３は、赤外投光器一体型車載カメラの変形例を示す図である。
　この赤外投光器一体型車載カメラには複数の赤外光源１１、３１が搭載される。これら複数の赤外光源１１、３１としては互いに指向性の異なるものを採用してもよい。これら複数の赤外光源１１、３１は一つずつ選択されてＯＮに設定したり、同時にＯＮにされるようにしてもよい。また、複数の赤外光源１１、３１は指向性が同じものであってもよい。側方画像の認識精度などに応じて、使用する複数の赤外光源１１、３１を変更できるようにしてもよい。
　＜変形例２＞
　上記の実施形態では、カメラ部１２の光軸に沿った方向に赤外光が照射されるように向きに赤外光源１１を配置するとともに、筐体１４のカメラ部１２の光軸が通過する一面に透明材２０を配置したが、例えば、図１４に示すように、反射板３２を使って赤外光の向きを変えるようにすることで、赤外光源１１の向き、筐体１４の透明材２０の位置を変更することができる。
　［本技術の別の構成］
　なお、本技術は以下のような構成も採ることができる。
（１）　赤外光を投光可能な赤外光源と、
　レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、
　前記赤外光源および前記カメラ部を搭載する基板と、
　を具備する車載カメラ。
（２）上記（１）に記載の車載カメラであって、
　前記基板を内蔵し、前記赤外光を透過可能な透明材部位を有する筐体をさらに有する車載カメラ。
（３）前記（２）に記載の車載カメラであって、
　前記透明材部位は、レーザー溶着によって前記筐体に接着される
　車載カメラ。
（４）前記（１）から（３）のいずれかに記載の車載カメラであって、
　前記カメラ部は、前記撮像素子部の撮像面に対して前記赤外光源の赤外光を遮る遮光部を有する
　車載カメラ。
（５）前記（１）から（４）のいずれかに記載の車載カメラであって、
　前記赤外光源は、指向性が共通のまたは異なる複数の赤外投光器で構成される
　車載カメラ。
（６）前記（１）から（５）のうちいずれかに記載の車載カメラであって、
　前記透明材部位を透過した前記赤外光源の光を前記カメラ部の光軸に沿った方向に屈折させるミラーを
　さらに具備する車載カメラ。
（７）　車両の側面に配置された車載カメラであって、赤外光源と、レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、前記赤外光源および前記カメラ部を搭載する基板とを具備する車載カメラの制御装置であって、
　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する制御部を具備する車載カメラの制御装置。
（８）前記（７）に記載の車載カメラの制御装置であって、
　前記制御部は、前記車載カメラにより得られた画像の認識結果を加味して交差点の左折または右折の可否を判断するように構成された
　車載カメラの制御装置。
（９）前記（７）または（８）に記載の車載カメラの制御装置であって、
　前記制御部は、周囲の明るさが所定の条件を満足しないとき、自車両の内部状態から追い越しを企画中であることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成される
　車載カメラの制御装置。
（１０）前記（７）から（９）のうちいずれかに記載の車載カメラの制御装置であって、
　前記制御部は、後続の車両がウインカーを出していることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成される
　車載カメラの制御装置。
（１１）前記（７）から（１０）のうちいずれかに記載の車載カメラの制御装置であって、
　前記制御部は、他車線の後方所定距離以内に相対速度を上げて接近してくる他車両がいることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成される
　車載カメラの制御装置。
（１２）前記（７）から（１１）のうちいずれかに記載の車載カメラの制御装置であって、
　前記制御部は、他車線の前方所定距離以内に相対速度を下げて接近してくる他車両がいることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成される
　車載カメラの制御装置。
（１３）車両の側面に配置された車載カメラであって、赤外光源と、レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、前記赤外光源および前記カメラ部を搭載する基板とを具備する車載カメラの制御方法であって、
　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する車載カメラの制御方法。
（１４）赤外光を投光可能な赤外光源と、
　レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、
　前記赤外光源および前記カメラ部を搭載する基板と、
　を具備する車載カメラと、
　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する制御部を具備する制御装置と
　を有する車載カメラシステム。
（１５）上記（１４）に記載の車載カメラシステムであって、
　前記車載カメラは、前記基板を内蔵し、前記赤外光を透過可能な透明材部位を有する筐体をさらに有する車載カメラシステム。
（１６）前記（１５）に記載の車載カメラシステムであって、
　前記透明材部位は、レーザー溶着によって前記筐体に接着される
　車載カメラシステム。
（１７）前記（１４）から（１６）のいずれかに記載の車載カメラシステムであって、
　前記カメラ部は、前記撮像素子部の撮像面に対して前記赤外光源の赤外光を遮る遮光部を有する
　車載カメラシステム。
（１８）前記（１４）から（１７）のいずれかに記載の車載カメラシステムであって、
　前記赤外光源は、指向性が共通のまたは異なる複数の赤外投光器で構成される
　車載カメラシステム。
（１９）前記（１４）から（１８）のうちいずれかに記載の車載カメラであって、
　前記車載カメラは、透明材部位を透過した前記赤外光源の光を前記カメラ部の光軸に沿った方向に屈折させるミラーを
　さらに具備する車載カメラシステム。
　１１…赤外光源
　１２…カメラ部
　１３…メイン基板
　１４…筐体
　１５…レンズ部
　１６…撮像素子部
　１７…レンズホルダー
　１８…遮光部
　２０…透明材
　２１…信号接続部
　２６…シリアライザ
　１００…自動運転用認識ＥＣＵ
　１０５…制御部
　１２０…側方監視用センサ

Claims (14)

  1. 　赤外光を投光可能な赤外光源と、
    　レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、
    　前記赤外光源および前記カメラ部を搭載する基板と、
    　を具備する車載カメラ。
  2. 　請求項１に記載の車載カメラであって、
    　前記基板を内蔵し、前記赤外光を透過可能な透明材部位を有する筐体をさらに有する車載カメラ。
  3. 　請求項２に記載の車載カメラであって、
    　前記透明材部位は、レーザー溶着によって前記筐体に接着される
    　車載カメラ。
  4. 　請求項１に記載の車載カメラであって、
    　前記カメラ部は、前記撮像素子部の撮像面に対して前記赤外光源の赤外光を遮る遮光部を有する
    　車載カメラ。
  5. 　請求項１に記載の車載カメラであって、
    　前記赤外光源は、指向性が共通のまたは異なる複数の赤外投光器で構成される
    　車載カメラ。
  6. 　請求項２に記載の車載カメラであって、
    　前記透明材部位を透過した前記赤外光源の光を前記カメラ部の光軸に沿った方向に屈折させるミラーを
    　さらに具備する車載カメラ。
  7. 　車両の側面に配置された車載カメラであって、赤外光源と、レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、前記赤外光源および前記カメラ部を搭載する基板とを具備する車載カメラの制御装置であって、
    　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する制御部を具備する車載カメラの制御装置。
  8. 　請求項７に記載の車載カメラの制御装置であって、
    　前記制御部は、前記車載カメラにより得られた画像の認識結果を加味して交差点の左折または右折の可否を判断するように構成された
    　車載カメラの制御装置。
  9. 　請求項７に記載の車載カメラの制御装置であって、
    　前記制御部は、周囲の明るさが所定の条件を満足しないとき、自車両の内部状態から追い越しを企画中であることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成される
    　車載カメラの制御装置。
  10. 　請求項７に記載の車載カメラの制御装置であって、
    　前記制御部は、後続の車両がウインカーを出していることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成される
    　車載カメラの制御装置。
  11. 　請求項７に記載の車載カメラの制御装置であって、
    　前記制御部は、他車線の後方所定距離以内に相対速度を上げて接近してくる他車両がいることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成される
    　車載カメラの制御装置。
  12. 　請求項７に記載の車載カメラの制御装置であって、
    　前記制御部は、他車線の前方所定距離以内に相対速度を下げて接近してくる他車両がいることを判断した場合、前記車載カメラの前記赤外光源をオンに設定するように構成される
    　車載カメラの制御装置。
  13. 　車両の側面に配置された車載カメラであって、赤外光源と、レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、前記赤外光源および前記カメラ部を搭載する基板とを具備する車載カメラの制御方法であって、
    　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する車載カメラの制御方法。
  14. 　赤外光を投光可能な赤外光源と、
    　レンズ部及び撮像素子部を有し、赤外光の波長に対して感度を有するカメラ部と、
    　前記赤外光源および前記カメラ部を搭載する基板と、
    　を具備する車載カメラと、
    　前記車載カメラにより得られた画像の認識結果に基づいて前記赤外光源のオンを制御する制御部を具備する制御装置と
    　を有する車載カメラシステム。
PCT/JP2021/036114 2020-10-08 2021-09-30 車載カメラ、車載カメラの制御装置、制御方法および車載カメラシステム WO2022075173A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112021005291.8T DE112021005291T5 (de) 2020-10-08 2021-09-30 Fahrzeugkamera, fahrzeugkamerasteuervorrichtung, steuerverfahren und fahrzeugkamerasystem
US18/247,091 US20230412904A1 (en) 2020-10-08 2021-09-30 In-vehicle camera, control apparatus and control method for in-vehicle camera, and in-vehicle camera system
JP2022555416A JPWO2022075173A1 (ja) 2020-10-08 2021-09-30
CN202180067488.8A CN116249634A (zh) 2020-10-08 2021-09-30 车载照相机、用于车载照相机的控制装置和控制方法以及车载照相机系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020170807 2020-10-08
JP2020-170807 2020-10-08

Publications (1)

Publication Number Publication Date
WO2022075173A1 true WO2022075173A1 (ja) 2022-04-14

Family

ID=81125993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036114 WO2022075173A1 (ja) 2020-10-08 2021-09-30 車載カメラ、車載カメラの制御装置、制御方法および車載カメラシステム

Country Status (5)

Country Link
US (1) US20230412904A1 (ja)
JP (1) JPWO2022075173A1 (ja)
CN (1) CN116249634A (ja)
DE (1) DE112021005291T5 (ja)
WO (1) WO2022075173A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077694A (ja) * 2000-08-30 2002-03-15 Kyocera Corp 赤外線カメラ
JP2002240629A (ja) * 2001-02-20 2002-08-28 Sony Corp 車載用ビデオカメラ
JP2003267140A (ja) * 2002-03-20 2003-09-25 Murakami Corp カメラ内蔵型バックミラー装置
JP2008243065A (ja) * 2007-03-28 2008-10-09 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2010039025A (ja) * 2008-08-01 2010-02-18 Nikon Corp 撮像装置
JP2011030140A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 外界認識装置
WO2017212600A1 (ja) * 2016-06-08 2017-12-14 富士通フロンテック株式会社 撮像装置
JP2020120316A (ja) * 2019-01-25 2020-08-06 トヨタ自動車株式会社 車両周辺モニタ装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020097344A (ja) 2018-12-19 2020-06-25 ダイムラー・アクチェンゲゼルシャフトＤａｉｍｌｅｒ ＡＧ ミラーカメラ搭載構造

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077694A (ja) * 2000-08-30 2002-03-15 Kyocera Corp 赤外線カメラ
JP2002240629A (ja) * 2001-02-20 2002-08-28 Sony Corp 車載用ビデオカメラ
JP2003267140A (ja) * 2002-03-20 2003-09-25 Murakami Corp カメラ内蔵型バックミラー装置
JP2008243065A (ja) * 2007-03-28 2008-10-09 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2010039025A (ja) * 2008-08-01 2010-02-18 Nikon Corp 撮像装置
JP2011030140A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 外界認識装置
WO2017212600A1 (ja) * 2016-06-08 2017-12-14 富士通フロンテック株式会社 撮像装置
JP2020120316A (ja) * 2019-01-25 2020-08-06 トヨタ自動車株式会社 車両周辺モニタ装置

Also Published As

Publication number Publication date
CN116249634A (zh) 2023-06-09
DE112021005291T5 (de) 2023-09-07
US20230412904A1 (en) 2023-12-21
JPWO2022075173A1 (ja) 2022-04-14

Similar Documents

Publication Publication Date Title
CN107272300B (zh) 车辆驾驶辅助装置
CN107272168B (zh) 车辆用照相机
US10198673B2 (en) Camera system
US20210403015A1 (en) Vehicle lighting system, vehicle system, and vehicle
US10331963B2 (en) Camera apparatus and in-vehicle system capturing images for vehicle tasks
CN100533748C (zh) 安装在机动车上帮助驱动和/或自动启动该机动车上所设置系统的光学传感器装置
US10875452B2 (en) Driving assistance device and driving assistance method
KR20050103194A (ko) 적외선 및 비주얼 이미지의 주변 환경에 따른 융합을이용하여 차량 주변을 비주얼화하는 방법 및 장치
CN111634290B (zh) 高级驾驶辅助的前向融合系统及方法
US11539868B2 (en) Imaging system and vehicle window used for the same
US20200339147A1 (en) Head-up display apparatus
EP3499876A1 (en) Vehicular display control device and vehicle driving assistance system
CN112793586B (zh) 汽车的自动驾驶控制方法、装置及计算机存储介质
WO2018025481A1 (ja) 車載カメラ、車載用カメラ装置、並びに車載カメラの支持方法
CN112650212A (zh) 远程自动驾驶车辆及车辆远程指示系统
EP3564072A1 (en) Illumination apparatus
JP2008225822A (ja) 道路区画線検出装置
EP3835128A1 (en) Vehicle display system and vehicle
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
US20240101138A1 (en) Display system
WO2022075173A1 (ja) 車載カメラ、車載カメラの制御装置、制御方法および車載カメラシステム
WO2021053957A1 (ja) 容量構造体、トランジスタアレイ基板およびトランジスタアレイ基板の製造方法、並びに、液晶表示装置および電子機器
WO2022264609A1 (ja) 車両
WO2022030372A1 (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
JP2000168441A (ja) 多方向撮像装置、多方向撮像装置付き車載ランプ、衝突監視装置、前方向監視装置および側方監視センサ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877474

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022555416

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21877474

Country of ref document: EP

Kind code of ref document: A1