WO2020100835A1 - カメラシステム及び車両 - Google Patents

カメラシステム及び車両 Download PDF

Info

Publication number
WO2020100835A1
WO2020100835A1 PCT/JP2019/044198 JP2019044198W WO2020100835A1 WO 2020100835 A1 WO2020100835 A1 WO 2020100835A1 JP 2019044198 W JP2019044198 W JP 2019044198W WO 2020100835 A1 WO2020100835 A1 WO 2020100835A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
light beam
sensor
optical
Prior art date
Application number
PCT/JP2019/044198
Other languages
English (en)
French (fr)
Inventor
谷　則幸
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018214490A external-priority patent/JP2020088409A/ja
Priority claimed from JP2018246010A external-priority patent/JP2020108034A/ja
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201980075012.1A priority Critical patent/CN113016179A/zh
Priority to DE112019005747.2T priority patent/DE112019005747T5/de
Publication of WO2020100835A1 publication Critical patent/WO2020100835A1/ja
Priority to US17/318,466 priority patent/US20210263156A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present disclosure relates to a camera system and a vehicle.
  • a technology is known for detecting the mounting angle (orientation) of a camera mounted on a vehicle.
  • the present disclosure provides a camera system and a vehicle capable of detecting the mounting angle of a camera with high accuracy.
  • a camera system can be arranged on a vehicle body of a vehicle, detects a video, a light beam irradiation device that irradiates a light beam, and detects an optical trajectory of the light beam captured by the camera, and detects the optical trajectory. And a detection circuit for determining the mounting deviation of the camera based on the above, and when the size of the optical locus is smaller than a predetermined threshold value, the detection circuit does not perform the determination output of the mounting deviation.
  • the vehicle of the present disclosure includes the camera system.
  • the mounting angle of the camera can be detected with high accuracy.
  • FIG. 1 Schematic diagram of Conventional Example 1 by a camera system of the prior art
  • Block diagram showing an example of a camera system according to the first embodiment The figure which shows the example which determines the camera mounting deviation which concerns on Embodiment 1, and shows the state without mounting deviation.
  • FIG. 13A Schematic diagram showing an example of a method for detecting the mounting deviation of the rear view camera and the side camera depending on the fields of view of both the rear view camera and the side camera
  • FIG. 13A Schematic diagram showing an example of a camera visual field and an irradiation region of the sensor system according to the second embodiment.
  • FIG. Block diagram showing an example of a sensor system according to a second embodiment
  • the flowchart figure which shows an example of the vehicle-mounted sensor mounting deviation determination output of the sensor system of Embodiment 2.
  • the schematic diagram which shows an example of the method of detecting the attachment deviation when the side camera of Embodiment 2 is attached to the door mirror or integrated.
  • Embodiment 1 In order to calculate the mounting relative angle of the camera mounted on the vehicle with respect to the vehicle body, it is common to take the difference between the absolute angle of the camera and the absolute angle of the vehicle body.
  • Methods for obtaining the absolute angle of the vehicle body include (1) using an inclination angle sensor fixed to the vehicle body, and (2) estimating from the measurement result of the inclination angle sensor mounted on the camera.
  • (1) in order to detect the camera mounting angle in real time, it is necessary to send the detection results of the tilt angle sensor fixed to the vehicle body to all the cameras at once, which increases the occupancy rate of the communication path and increases the communication content. Is lost, and the accuracy of the camera attachment angle calculation result deteriorates.
  • the tilt angle sensors are required for the number of cameras, resulting in an increase in cost.
  • a method of capturing an image of a mark on the windshield with a camera and detecting a posture change with high accuracy based on the difference between the mark and the coordinate of the detection value obtained from an acceleration sensor in auto-leveling There is a method of controlling by the inclination with the above straight line.
  • a vehicle 100 is equipped with a camera 101, a posture change detection unit 102, a control unit 103 such as an ESP and an ECU that integrally controls the entire vehicle, and the like.
  • the attitude change detection unit 102 calculates a displacement amount (u ⁇ u0, v ⁇ v0) and a displacement direction, which are the difference between the coordinates (u0, v0) of the mark of the initial attitude and the coordinates (u, v) acquired by the camera 101. To do. That is, the attitude of the camera 101 is controlled by calculating the displacement amount and displacement direction of the current position (measurement position) with respect to the initial position (reference position).
  • ⁇ vo visual odometry
  • ⁇ CAM ⁇ vo ⁇ CAR
  • the error of ⁇ CAM may increase, resulting in more erroneous determination with respect to the camera mounting angle determination.
  • a vehicle 100 is equipped with a camera 101, an acceleration sensor 104, a control unit 103 such as an ESP and an ECU for controlling the entire vehicle. ..
  • the vehicle attitude angle is obtained from the acceleration sensor 104, the acceleration sensor 104 and the inclination angle sensor 105 may be mounted on the camera 101, for example.
  • the vehicle attitude angle ( ⁇ CAR) is estimated by the acceleration sensor 104 and the inclination angle sensor 105, and the angle ( ⁇ CARABS) of the camera 101 is measured by the inclination angle sensor 105, and the control unit 103 determines the mounting angle ( ⁇ CAM) of the camera 101 based on the difference.
  • ⁇ CARABS ⁇ CAR the tilt angle sensor 105 is required in the camera 101, and if a large number of cameras 101 are mounted on the vehicle 100, the cost will be significantly increased.
  • the camera system and the vehicle of the present embodiment which have improved the above problems, can reduce the number of mounted tilt angle sensors without impairing the accuracy of determining the relative angle deviation of camera mounting.
  • FIG. 2A and 2B show a vehicle of this embodiment
  • FIG. 2A is a side view
  • FIG. 2B is a plan view
  • 3A and 3B are schematic diagrams showing a camera field of view and an illumination area of the camera system of the present embodiment.
  • FIG. 3A is a side view
  • FIG. 3B is a plan view.
  • the vehicle embodiment exemplifies a vehicle that is capable of autonomous driving in the vehicle based on the Road Transport Vehicle Act.
  • the vehicle is capable of autonomous traveling such as forward movement, backward movement, right / left turn, and rotation.
  • the vehicle 1 has a vehicle body 2 and wheels 3 that compose the vehicle 1.
  • Door mirrors 4 are attached to the sides of the vehicle body 2, and license plates 5 are attached to the front and rear of the vehicle body 2.
  • the vehicle 1 is equipped with a camera 10 capable of picking up an image and a light beam irradiation device 20 for emitting a light beam.
  • the camera 10 is a front camera 11 that captures an image of the front of the vehicle 1, but captures an image of the rear of the vehicle 1 and a rear view camera 12 that is attached to the rear of the vehicle body 2 and an image of the side of the vehicle 1.
  • a side camera 13 attached to the side of the vehicle body 2 may be included.
  • the rear view camera 12 is attached to the center position of the vehicle width, for example, on the license plate 5.
  • the side camera 13 may be attached to the door mirror 4, or the door mirror itself that captures an image in the visual field range of the door mirror 4 may be a camera (for example, CMS: camera monitoring system).
  • the light beam irradiation device 20 includes a first light beam irradiation device 21 that irradiates the front of the vehicle 1, a second light beam irradiation device 22 that irradiates the rear of the vehicle 1, and a third light beam irradiation device 23 that irradiates the side of the vehicle 1. And have.
  • the light beam irradiation device 20 forms a light distribution pattern P defined by the safety standards of the Japanese Road Transport Vehicle Act by a light beam emitted from a light source (not shown). It may have an irradiation pattern Q for irradiating with a light ray having high straightness.
  • FIGS. 3A and 3B C shown by a solid line in the drawing is a camera field of view, and D shown by a broken line in the drawing is an irradiation region which is a combination of the light distribution pattern P and the irradiation pattern Q.
  • C shown by a solid line in the drawing is a camera field of view
  • D shown by a broken line in the drawing is an irradiation region which is a combination of the light distribution pattern P and the irradiation pattern Q.
  • the same notation is used in FIGS. 7 to 10.
  • the first light beam irradiation device 21 is a head lamp (headlight), a fog lamp, a clearance lamp, etc.
  • the second light beam irradiation device 22 is a tail lamp, a stop lamp, a back lamp, etc.
  • the third light beam irradiation device 23 is Examples include side lamps and turn signal lamps.
  • FIG. 4 is a block diagram of the camera system. The camera system of this embodiment will be described with reference to FIG.
  • the camera system 38 of this embodiment is mounted on the vehicle 1 and includes a camera 10, a light beam irradiation device 20, and a camera ECU 40.
  • the camera ECU 40 includes a control unit 41 such as a CPU, a storage unit 42, a detection circuit 43, a light beam detection unit 44, an obstacle recognition unit 45, and a light emission control unit 46.
  • the control unit 41 controls the entire camera system 38, the storage unit 42 stores information such as a template prepared in advance and images captured by the camera 10, and the light ray detection unit 44 captures the image by the camera 10.
  • the obstacle recognition unit 45 detects the optical path of the light beam, and recognizes an obstacle or the like from the image captured by the camera 10.
  • the detection circuit 43 determines the mounting deviation of the camera 10 based on the optical trajectory of the light beam detected by the light ray detection unit 44, and controls the imaging mode for the camera 10.
  • the camera 10 captures an image based on the image capturing mode, and the captured image is converted into a video signal and transmitted to the light ray detection unit 44 and the obstacle recognition unit 45.
  • the light emission control unit 46 controls turning on / off of the light beam irradiation device 20, issues a light emission command to the light beam irradiation device 20, and receives an error signal and the like from the light beam irradiation device 20, for example.
  • the light beam emitted by the light beam irradiation device 20 includes an arbitrary optical pattern, highly linear laser light emitted from a laser diode, and the like, but is a light beam emitted by a light source such as near infrared rays incorporated in a headlamp or the like. Predetermined ray patterns are also included.
  • the near-infrared irradiation is effective when it is difficult to detect from the light distribution pattern P formed by visible light in the daytime.
  • LIDAR Light Detection and Ranging
  • millimeter wave radar etc.
  • the LIDAR emits a light beam (for example, an infrared laser) around the vehicle 1 to receive a reflection signal thereof, and based on the received reflection signal, the distance to the surrounding object and the size of the object. , And the composition of the object.
  • the millimeter wave radar radiates a radio wave (millimeter wave) around the vehicle 1, receives a reflection signal thereof, and measures a distance to an object existing in the periphery based on the received reflection signal.
  • the millimeter wave radar can also detect a distant object which is difficult to detect by LIDAR.
  • the optical trajectory required to determine the mounting deviation of the camera 10 is an optical pattern that is a pattern of reflected light obtained by irradiating an irradiation object with a light ray, and is also a ray trajectory that is a trajectory through which the light ray passes.
  • the light beam irradiation device 20 may include a tilt angle sensor.
  • the tilt angle sensor makes it possible to always estimate the tilt angle of the camera 10 with respect to the vehicle body 2, and prevent erroneous detection of the angular deviation of the camera 10 due to the angular deviation of the irradiation direction in advance.
  • FIGS. 5A and 5B are schematic diagrams showing an example of a camera mounting deviation determination output.
  • FIG. 5A shows a state where there is no mounting deviation
  • FIG. 5B shows a state where there is mounting deviation.
  • An example of determination of camera mounting deviation will be described based on FIGS. 5A and 5B.
  • a white line R which is an example of an optical trajectory drawn on the road surface, is used to determine the mounting deviation of the camera 10.
  • the reflected light (optical pattern) obtained by irradiating an appropriate irradiation target such as the white line R is imaged by the camera 10, the optical locus is detected from the imaged image, and the position of the optical locus (for example, the white line R) and Detect the angle.
  • the detection result is compared with the position and angle of the template or the like stored in the storage unit 42.
  • FIG. 5A shows the case where the optical locus (white line R) and the template match
  • FIG. 5B shows the case where the optical locus (solid line) and the template (broken line) do not match. If it is an appropriate position and angle, it is determined that there is no mounting deviation of the camera 10, and if it is at least the threshold value, it is determined that there is mounting deviation.
  • the pattern of the reflected light from the white line R in front of the vehicle 1 changes depending on the shape of the white line R, the distance between the vehicles, and various road conditions, it may not always be obtained appropriately.
  • the pattern Q more accurate white line R information can be obtained.
  • the first light beam irradiation device 21 is normally a pair of left and right, the information accuracy of the position and angle of the white line R captured by the camera 10 (front camera 11) is improved.
  • FIG. 6 is a flow chart showing the determination of the mounting deviation of the camera 10. An example of determination of the mounting deviation of the camera 10 will be described based on FIG.
  • the obstacle recognition unit 45 performs obstacle detection processing based on the image captured by the camera 10 (step S1).
  • the obstacle detection process is a step of determining whether or not an object that may block light rays is detected within a predetermined distance from the camera 10, and determines whether or not the next shift detection start condition is satisfied ( In step S2), this corresponds to a basic implementation condition that is a basic premise.
  • the mounting deviation of the camera 10 is detected every time the basic condition is satisfied, the mounting deviation detecting process of the camera 10 is frequently executed, which may adversely affect the life of the light irradiation device 20. Therefore, the following additional condition may be added to the basic execution condition and used as the deviation detection start condition in step S2.
  • Non-implementation conditions Conditions relating to timing, situation, etc. in which it is preferable not to detect. a. Steering at a certain angle or more (light rays tend to travel in the direction of obstacles, etc., making it difficult to obtain a stable optical path) b. There is a slope or a slope ahead by a predetermined distance (the camera 10 and the light irradiation device 20 can be inclined) c. When the road surface is irregular (the road condition is bad and it is difficult to obtain a stable optical trajectory) d. When the road surface is wet (it is difficult to obtain a stable optical trajectory due to bad road conditions) e. When there is snow on the road surface (it is difficult to obtain a stable optical trajectory due to bad road conditions)
  • step S3 When it is determined that the deviation detection start condition is satisfied (Yes in step S2), the light beam irradiation device 20 is turned on to emit a light beam (step S3).
  • step S3 When it is determined that the shift detection start condition is not satisfied (No in step S2), the shift detection is not performed. For example, when the camera 10 images an object that exists within a predetermined distance from the camera 10 and that may block light rays, the detection circuit 43 does not output the determination of the mounting deviation.
  • the ray trajectory of the ray is imaged by the camera 10 and detected by the detection circuit 43 (step S4). Then, the detection circuit 43 determines whether or not the detection result satisfies the shift detection continuation condition (step S5).
  • step S5 The judgment in step S5 is made based on whether or not the length of the detected optical locus (optical pattern, ray trace) is a predetermined length or longer.
  • the detection circuit 43 calculates the position and angle ⁇ of the optical trajectory (for example, the white line R) (step S6).
  • the detection circuit 43 does not perform the determination output of the mounting deviation in step S6 and the subsequent steps.
  • the conditions are strict because the reflection from the object may cause it to be easily affected by external factors, and the size (length) of the detected optical trajectory and the previously prepared Whether or not the degree of coincidence (likelihood) between the template (for example, the white line template of the road) and the size (length) is greater than or equal to a predetermined value may be added to the condition (predetermined). If it is greater than or equal to the value, the condition is met).
  • the condition when detecting a ray trace, the condition is looser than the optical trace because it is basically the trace of the ray that travels in the air and is less susceptible to external factors.
  • the condition may be whether or not the length is less than or equal to a predetermined value (for example, the condition is satisfied if the optical path of the laser beam traveling straight ahead is greater than or equal to the predetermined length).
  • the detection circuit 43 reads the template-like normal position and angle ⁇ from the storage unit 42 (step S7), and outputs the determination of the mounting deviation of the camera 10. That is, it is determined whether or not the difference between the angle ⁇ and the angle ⁇ is greater than or equal to the threshold value (step S8).
  • the detection circuit 43 In the situation where the detection circuit 43 outputs the determination of the mounting deviation, when the size of the optical track becomes smaller than a predetermined threshold value, the detection circuit 43 suspends the determination output of the mounting deviation. This can prevent erroneous determination of the determination output.
  • step S8 determines that the difference between the angle ⁇ and the angle ⁇ is equal to or more than the threshold value (Yes in step S8), the camera 10 determines that the mounting deviation has occurred (step S9).
  • the detection circuit 43 determines that the difference between the angle ⁇ and the angle ⁇ is not equal to or larger than the threshold value (No in step S8), the camera 10 determines that the mounting deviation has not occurred (step S10).
  • the optical trajectory is detected from the image captured by the camera 10, and the mounting deviation of the camera 10 is determined by comparing it with a template or the like stored in the storage unit 42, so that the accuracy of the determination of the mounting deviation determination output is not impaired, and the cost is low. Thus, it becomes possible to detect the mounting deviation (optical axis deviation) of the camera 10.
  • FIG. 7 shows a method for detecting a mounting deviation of the rear view camera 12 that images the rear of the vehicle 1.
  • the detection circuit 43 detects the optical trajectory (for example, the white line R) of the light beam imaged by the rear view camera 12 by using the irradiation by the second light beam irradiation device 22 that irradiates the rear of the vehicle 1, and the mounting deviation of the rear view camera 12 is detected. Is output.
  • FIG. 8 shows a method for detecting the mounting deviation of the side camera 13 that images the side of the vehicle 1.
  • the detection circuit 43 detects the optical locus (for example, the white line R) of the light beam imaged by the side camera 13 by using the irradiation by the third light beam irradiation device 23 that irradiates the side of the vehicle 1 and attaches the side camera 13. Displacement judgment output is performed.
  • the side light which is the third light irradiation device 23, and the turn signal lamp are mainly used, but the irradiation from the left and right ends of the first light irradiation device 21 may be included.
  • FIG. 9 shows a method for detecting a mounting deviation of the side camera 13 when the side camera 13 is attached to or integrated with the door mirror 4.
  • the detection circuit 43 captures an image of the side camera 13 using the irradiation by the third light beam irradiation device 23 that irradiates the side of the vehicle 1 and the second light beam irradiation device (for example, a tail lamp) 22 that irradiates the rear of the vehicle 1.
  • the optical locus of the light ray for example, the white line R
  • the side misalignment of the side camera 13 is determined and output.
  • FIG. 10 shows a method of detecting the mounting deviation of the rear view camera 12 and the side camera 13 depending on the visual fields C of both the rear view camera 12 and the side camera 13.
  • the detection circuit 43 uses the irradiation areas D of the second light beam irradiation device 22 and the third light beam irradiation device 23, the detection circuit 43 detects the optical path of the light beam captured by the rear view camera 12 and the optical path of the light beam captured by the side camera 13. Are compared with each other, and the determination output of the mounting deviation of the rear view camera 12 and the side camera 13 is output.
  • the determination output of the mounting deviation of the rear view camera 12 and the side camera 13 is output.
  • the camera mounting misalignment determination output is performed based on the optical trajectory of the light beam captured by the camera, it is possible to reduce the number of mounted tilt angle sensors without impairing the determination accuracy and reduce the cost.
  • the optical axis shift of the camera can be detected.
  • a predetermined threshold value is provided on the optical path, it is possible to suppress erroneous determination.
  • the first embodiment has the following features.
  • (Characteristic 1) It can be placed on the vehicle body, A camera that can capture images A light beam irradiation device for irradiating a light beam, A detection circuit that detects an optical trajectory of the light beam captured by the camera and determines a mounting deviation of the camera based on the optical trajectory. When the size of the optical path is smaller than a predetermined threshold value, the detection circuit does not perform the determination output of the mounting deviation, Camera system.
  • Feature 2 The camera system according to Feature 1, In a situation where the detection circuit is performing the determination output of the mounting deviation, when the size of the optical locus becomes smaller than a predetermined threshold, the detection circuit interrupts the determination output of the mounting deviation, Camera system.
  • the camera system according to feature 1 or feature 2 When the camera is in a range of a predetermined distance from the camera, and when imaging an object that may block the light rays, the detection circuit does not perform the determination output of the mounting deviation, Camera system.
  • the camera system according to any one of features 1 to 3 The optical trajectory is an optical pattern that is a pattern of reflected light obtained by irradiating the irradiation object with the light beam, Camera system.
  • the optical trajectory is a ray trajectory that is a trajectory through which the light ray passes, Camera system.
  • the camera system according to any one of features 1 to 5, The camera is at least one of a front camera attached to the front of the vehicle body, a rear view camera attached to the rear of the vehicle body, and a side camera attached to the side of the vehicle body, Camera system.
  • the camera system according to feature 6 The camera includes the rear view camera and the side camera, The detection circuit compares an optical trajectory of the light beam captured by the rear-view camera with an optical trajectory of the light beam captured by the side camera to determine a mounting displacement of the camera.
  • Camera system (Feature 8) A vehicle equipped with the camera system according to any one of features 1 to 7.
  • Embodiment 2 In order to calculate the mounting relative angle of the vehicle-mounted sensor mounted on the vehicle with respect to the vehicle body, it is general to take the difference between the absolute angle of the vehicle-mounted sensor and the absolute angle of the vehicle body.
  • Methods for acquiring the absolute angle of the vehicle body include (1) using an inclination angle sensor fixed to the vehicle body, (2) estimating from the measurement result of the inclination angle sensor mounted on the vehicle-mounted sensor, and the like.
  • (1) as many tilt angle sensors as vehicle-mounted sensors are required. It is necessary to send the detection results of the tilt angle sensor fixed to the vehicle body to all in-vehicle sensors at the same time, which increases the occupancy rate of the communication path and loses the immediacy of the communication contents. The accuracy of is deteriorated.
  • the tilt angle sensor and the acceleration sensor are required as many as the number of in-vehicle sensors, which causes an increase in cost.
  • a vehicle 100 is equipped with a camera 101, a posture change detection unit 102, an ESP that integrally controls the entire vehicle, a control unit 103 such as an ECU, and the like.
  • the attitude change detection unit 102 calculates a displacement amount (u ⁇ u0, v ⁇ v0) and a displacement direction, which are the difference between the coordinates (u0, v0) of the mark of the initial attitude and the coordinates (u, v) acquired by the camera 101. To do. That is, the attitude of the camera 101 is controlled by calculating the displacement amount and displacement direction of the current position (measurement position) with respect to the initial position (reference position).
  • the conventional example 1 can also be applied to the attitude control of the in-vehicle sensor 110 that is integrally attached to the light beam irradiation device 109.
  • the light beam irradiation device 109 is provided with the vehicle-mounted sensor 110
  • the attitude change detection unit 102 is also an inclination angle sensor.
  • the error of the on-vehicle sensor angle ⁇ CAM may increase, and an erroneous determination may be made with respect to the misalignment determination of the on-vehicle sensor 110. Will increase.
  • a vehicle 100 is equipped with a camera 101, an acceleration sensor 106, a control unit 103 such as an ESP and an ECU for controlling the entire vehicle. .
  • the vehicle attitude angle is obtained from the acceleration sensor 106, the acceleration sensor 106 and the attitude change detection unit 102 may be mounted on the vehicle-mounted sensor 110, for example.
  • the vehicle attitude angle ( ⁇ CAR) is estimated by the acceleration sensor 106 and the attitude change detection unit 102, and the angle ( ⁇ SABS) of the on-vehicle sensor 110 is measured by the attitude change detection unit 102.
  • the mounting (relative) angle ( ⁇ Srel ⁇ SABS ⁇ CAR) is calculated.
  • the acceleration sensor 106 is required in the in-vehicle sensor 110, and if a large number of in-vehicle sensors 110 are mounted in the vehicle 100, the cost will be significantly increased.
  • the laser device 107 and the minute reflection material 108 are attached in front of the vehicle 100, the reference data regarding the minute reflection material 108 and the in-use data are compared, and the comparison result is obtained in advance.
  • it exceeds the set constant value it is determined that the axis of the laser device 107 is displaced.
  • the in-vehicle sensor 110 such as the laser device 107 and the micro-reflecting material 108 are similarly displaced together, no angular displacement is detected.
  • the on-vehicle sensor 110 and the micro-reflecting material 108 are integrally attached, the on-vehicle sensor 110 and the micro-reflecting material 108 are displaced together, so that the displacement cannot be detected after all.
  • the sensor system and the vehicle of the present embodiment which have improved the above conventional problems, can reduce the number of mounted tilt angle sensors without impairing the relative angle deviation determination accuracy of the mounting of the in-vehicle sensor.
  • FIG. 13A and 13B show a vehicle of this embodiment
  • FIG. 13A is a side view
  • FIG. 13B is a plan view
  • 14A and 14B are schematic diagrams showing the camera field of view and the illumination area of the sensor system of the present embodiment.
  • FIG. 14A is a side view
  • FIG. 14B is a plan view.
  • the vehicle embodiment exemplifies a vehicle that is capable of autonomous driving in the vehicle based on the Road Transport Vehicle Act.
  • the vehicle is capable of autonomous traveling such as forward movement, backward movement, right / left turn, and rotation.
  • the vehicle 1 has a vehicle body 2 and wheels 3 that compose the vehicle 1.
  • Door mirrors 4 are attached to the sides of the vehicle body 2, and license plates 5 are attached to the front and rear of the vehicle body 2.
  • the vehicle 1 is equipped with a camera 10 capable of picking up an image, a light beam irradiation device 20 for emitting a light beam, and an in-vehicle sensor 30.
  • the camera 10 is a front camera 11 that captures an image of the front of the vehicle 1, but captures an image of the rear of the vehicle 1 and a rear view camera 12 that is attached to the rear of the vehicle body 2 and an image of the side of the vehicle 1.
  • a side camera 13 attached to the side of the vehicle body 2 may be included.
  • the rear view camera 12 is attached to the center position of the vehicle width, for example, on the license plate 5.
  • the side camera 13 may be attached to the door mirror 4, or the door mirror itself that captures an image in the visual field range of the door mirror 4 may be a camera (for example, CMS: camera monitoring system).
  • the light beam irradiation device 20 includes a first light beam irradiation device 21 that irradiates the front of the vehicle 1, a second light beam irradiation device 22 that irradiates the rear of the vehicle 1, and a third light beam irradiation device 23 that irradiates the side of the vehicle 1. And have.
  • the light beam irradiation device 20 forms a light distribution pattern P defined by the safety standards of the Japanese Road Transport Vehicle Act by a light beam emitted from a light source (not shown). It may have an irradiation pattern Q for irradiating with a light ray having high straightness.
  • the on-vehicle sensor 30 irradiates the wave and measures the distance to the irradiation target.
  • LIDAR Light Detection and Ranging
  • the on-vehicle sensor 30 includes a first on-vehicle sensor 31 that is integrally attached to the first light beam irradiation device 21 and a second on-vehicle sensor 32 that is integrally attached to the second light beam irradiation device 22.
  • LIDAR emits a light beam (for example, an infrared laser) around the vehicle 1, receives a reflection signal thereof, and the distance to an irradiation object existing in the surroundings based on the received reflection signal, and the irradiation object.
  • the size and composition of the irradiated object are measured.
  • the millimeter wave radar radiates a radio wave (millimeter wave) around the vehicle 1, receives the reflection signal thereof, and measures the distance to the irradiation object existing in the periphery based on the received reflection signal.
  • the millimeter-wave radar can also detect a distant object that is difficult to detect with LIDAR.
  • the sonar radiates sound waves around the vehicle 1, receives the reflection signal thereof, and measures the distance to the irradiation projection object existing in the periphery based on the received reflection signal.
  • the sonar can detect the accurate distance of the irradiation target near the vehicle 1.
  • FIGS. 14A and 14B C shown by a solid line in the drawing is a camera field of view, and D shown by a broken line in the drawing is an irradiation region which is a combination of the light distribution pattern P and the irradiation pattern Q. The same notation is used in FIG.
  • the first light beam irradiation device 21 is a head lamp (headlight), a fog lamp, a clearance lamp, etc.
  • the second light beam irradiation device 22 is a tail lamp, a stop lamp, a back lamp, etc.
  • the third light beam irradiation device 23 is Examples include side lamps and turn signal lamps.
  • FIG. 15 is a block diagram of the sensor system. The sensor system of this embodiment will be described with reference to FIG.
  • the sensor system 39 of this embodiment is mounted on the vehicle 1 and includes a camera 10, a light beam irradiation device 20, an in-vehicle sensor 30, a camera ECU 50, and an in-vehicle sensor ECU 60.
  • the camera ECU 50 includes a storage unit 51, a detection circuit 52, a light beam detection unit 53, and an obstacle recognition unit 54.
  • the vehicle-mounted sensor ECU 60 includes a sensor control unit 61 and a light emission control unit 62.
  • the camera ECU 50 is connected to the camera 10, receives a video signal from the camera 10, and issues an imaging command to the camera 10.
  • the vehicle-mounted sensor ECU 60 is connected to the light beam irradiation device 20 and the vehicle-mounted sensor 30 to send and receive signals.
  • the camera ECU 50 and the vehicle-mounted sensor EUC60 are connected to each other to transmit and receive a light emission command and a shift detection signal.
  • the storage unit 51 of the camera ECU 50 stores information such as a template prepared in advance and images captured by the camera 10, and the detection circuit 52 determines the mounting deviation of the vehicle-mounted sensor 30.
  • the light ray detection unit 53 detects an optical trajectory of a light ray imaged by the camera 10, and the obstacle recognition unit 54 recognizes an obstacle or the like from the image captured by the camera 10. Further, the detection circuit 52 determines the mounting deviation of the vehicle-mounted sensor 30 based on the optical trajectory of the light beam detected by the light ray detection unit 44, and also issues an image pickup command to the camera 10.
  • the camera 10 captures an image based on the imaging command, and the captured image is converted into a video signal and transmitted to the light ray detection unit 53 and the obstacle recognition unit 54.
  • the sensor control unit 61 of the in-vehicle sensor ECU 60 issues a sensing command to the in-vehicle sensor 30 and receives a sensing signal obtained based on the sensing command.
  • the light emission control unit 62 transmits a light emission command to the light beam irradiation device 20, receives an error signal from the light beam irradiation device 20, and controls turning on / off of the light beam irradiation device 20.
  • the detection circuit 52 and the sensor control unit 61 send and receive information in order to determine the mounting deviation of the in-vehicle sensor 30.
  • the sensor control unit 61 commands the detection circuit 52 to issue a deviation determination request for the on-vehicle sensor 30, the detection circuit 52 determines the deviation of the on-vehicle sensor 30 based on the information from the camera 10, and outputs the deviation determination result to the sensor control unit 61.
  • the detection circuit 52 also issues a light emission command of the light beam irradiation device 20 to the sensor control unit 61.
  • the light beam emitted by the light beam irradiation device 20 includes an arbitrary optical pattern, highly linear laser light emitted from a laser diode, and the like, but is a light beam emitted by a light source such as near infrared rays incorporated in a headlamp or the like. Predetermined ray patterns are also included.
  • the near-infrared irradiation is effective when it is difficult to detect from the light distribution pattern P formed by visible light in the daytime.
  • the optical locus necessary for determining the mounting displacement of the vehicle-mounted sensor 30 is an optical pattern that is a pattern of reflected light obtained by irradiating the irradiation target with a light beam, and is also a light beam locus that is a locus through which the light beam passes. .
  • the light beam irradiation device 20 may include a tilt angle sensor.
  • the inclination angle sensor can always estimate the inclination angle of the vehicle-mounted sensor 30 with respect to the vehicle body 2, and it is possible to prevent erroneous detection of the angle deviation of the vehicle-mounted sensor 30 due to the angle deviation of the irradiation direction in advance.
  • FIG. 16A and FIG. 16B are schematic diagrams showing an example of the mounting displacement determination output of the in-vehicle sensor.
  • FIG. 16A shows a state without mounting displacement
  • FIG. 16B shows a state with mounting displacement.
  • An example of determination of the mounting deviation of the vehicle-mounted sensor will be described based on FIGS. 16A and 16B.
  • a white line R which is an example of an optical trajectory drawn on the road surface, is used to determine the mounting deviation of the vehicle-mounted sensor 30.
  • the reflected light (optical pattern) obtained by irradiating an appropriate irradiation target such as the white line R is imaged by the camera 10, the optical locus is detected from the imaged image, and the position of the optical locus (for example, the white line R) and Detect the angle.
  • the detection result is compared with the position and angle of the template or the like stored in the storage unit 42.
  • FIG. 16A shows a case where the optical locus (white line R) and the template match
  • FIG. 16B shows a case where the optical locus (solid line) and the template (broken line) do not match. If it is an appropriate position and angle, it is determined that there is no mounting deviation of the vehicle-mounted sensor 30, and if it is greater than or equal to the threshold value, there is a mounting deviation.
  • the pattern of the reflected light from the white line R in front of the vehicle 1 changes depending on the shape of the white line R, the distance between the vehicles, and various road conditions, it may not always be obtained appropriately.
  • the pattern Q more accurate white line R information can be obtained.
  • the first light beam irradiation device 21 is normally a pair of left and right, the information accuracy of the position and angle of the white line R captured by the camera 10 (front camera 11) is improved.
  • FIG. 17 is a flowchart showing the determination of the mounting deviation of the vehicle-mounted sensor 30. An example of the determination of the mounting deviation of the vehicle-mounted sensor 30 will be described based on FIG.
  • the obstacle recognition unit 54 performs obstacle detection processing based on the image captured by the camera 10 (step S1).
  • the obstacle detection process is a step of determining whether or not an object that may block light rays is detected within a predetermined distance from the camera 10, and determines whether or not the next shift detection start condition is satisfied ( In step S2), it corresponds to a basic implementation condition which is a basic premise.
  • the mounting deviation of the in-vehicle sensor 30 is detected every time the basic condition is satisfied, the mounting deviation detection process of the in-vehicle sensor 30 is frequently executed, which may adversely affect the life of the light irradiation device 20. is there. Therefore, the following additional condition may be added to the basic execution condition and used as the deviation detection start condition in step S2.
  • Non-implementation conditions Conditions relating to timing, situation, etc. in which it is preferable not to detect. a. Steering at a certain angle or more (light rays tend to travel in the direction of obstacles, etc., making it difficult to obtain a stable optical path) b. There is a slope or a slope ahead of a predetermined distance (the light beam irradiation device 20 and the vehicle-mounted sensor 30 can be inclined) c. When the road surface is irregular (the road condition is bad and it is difficult to obtain a stable optical trajectory) d. When the road surface is wet (it is difficult to obtain a stable optical trajectory due to bad road conditions) e. When there is snow on the road surface (it is difficult to obtain a stable optical trajectory due to bad road conditions)
  • step S3 When it is determined that the deviation detection start condition is satisfied (Yes in step S2), the light beam irradiation device 20 is turned on to emit a light beam (step S3).
  • step S3 When it is determined that the shift detection start condition is not satisfied (No in step S2), the shift detection is not performed. For example, when the camera 10 images an object that exists in a range of a predetermined distance from the camera 10 and may block light rays, the detection circuit 52 does not output the determination of the mounting deviation.
  • the ray trajectory of the ray is picked up by the camera 10 and detected by the ray detecting unit 53 (step S4). Then, the information detected by the light ray detection unit 53 is sent to the detection circuit 52, and the detection circuit 52 determines whether or not the detection result satisfies the deviation detection continuation condition (step S5).
  • step S5 The judgment in step S5 is made based on whether or not the length of the detected optical locus (optical pattern, ray trace) is a predetermined length or longer.
  • the detection circuit 52 calculates the position and angle ⁇ of the optical trajectory (for example, the white line R) (step S6).
  • the detection circuit 52 does not perform the determination output of the mounting deviation after step S6.
  • the conditions are strict because the reflection from the object may cause it to be easily affected by external factors, and the size (length) of the detected optical trajectory and the previously prepared Whether or not the degree of coincidence (likelihood) between the template (for example, the white line template of the road) and the size (length) is greater than or equal to a predetermined value may be added to the condition (predetermined). If it is greater than or equal to the value, the condition is met).
  • the condition when detecting a ray trace, the condition is looser than the optical trace because it is basically the trace of the ray that travels in the air and is less susceptible to external factors.
  • the condition may be whether or not the length is less than or equal to a predetermined value (for example, the condition is satisfied if the optical path of the laser beam traveling straight ahead is greater than or equal to the predetermined length).
  • the detection circuit 52 reads out the template-like normal position and angle ⁇ from the storage unit 51 (step S7), and outputs the determination of the mounting deviation of the vehicle-mounted sensor 30. That is, it is determined whether the difference between the angle ⁇ and the angle ⁇ is greater than or equal to the threshold value (step S8).
  • the detection circuit 52 suspends the determination output of the mounting deviation when the size of the optical locus becomes smaller than a predetermined threshold value. This can prevent erroneous determination of the determination output.
  • step S8 determines that the difference between the angle ⁇ and the angle ⁇ is greater than or equal to the threshold value (Yes in step S8), the in-vehicle sensor 30 determines that the mounting deviation has occurred (step S20).
  • the detection circuit 52 determines that the difference between the angle ⁇ and the angle ⁇ is not equal to or more than the threshold value (No in step S8), the vehicle-mounted sensor 30 determines that the mounting deviation has not occurred (step S21).
  • the optical path is detected from the image captured by the camera 10 and the mounting deviation of the in-vehicle sensor 30 is determined by comparing the optical path with a template or the like stored in the storage unit 51, the determination accuracy of the mounting deviation determination output is maintained at a low level. It becomes possible to detect the mounting deviation (optical axis deviation) of the vehicle-mounted sensor 30 at a cost.
  • the first on-vehicle sensor 31 has been mainly described, but the same applies to the second on-vehicle sensor 32 and the third on-vehicle sensor.
  • FIG. 17 shows a method for detecting the mounting deviation of the second vehicle-mounted sensor 32 that detects the rear side and the corner side of the vehicle 1.
  • the side camera 13 is attached to or integrated with the door mirror 4.
  • the detection circuit 43 captures an image of the side camera 13 using the irradiation by the third light beam irradiation device 23 that irradiates the side of the vehicle 1 and the second light beam irradiation device (for example, a tail lamp) 22 that irradiates the rear of the vehicle 1.
  • the optical locus of the light beam for example, the white line R
  • the detection range T of the second vehicle-mounted sensor 32 is shown by the broken line enclosed in FIG.
  • the mounting deviation determination output of the vehicle-mounted sensor is performed based on the optical trajectory of the light beam captured by the camera, it is possible to reduce the number of mounted tilt angle sensors without impairing the determination accuracy and to reduce the cost. It is possible to detect the optical axis shift of the vehicle-mounted sensor at a cost. Moreover, since a predetermined threshold value is provided on the optical path, it is possible to suppress erroneous determination.
  • the second embodiment has the following features.
  • (Characteristic 1) It can be placed on the vehicle body, A camera that can capture images A light beam irradiation device for irradiating a light beam, An in-vehicle sensor that is integrally attached to the light beam irradiation device and measures a distance to at least an irradiation target by irradiating a wave.
  • a sensor system comprising: a detection circuit that detects an optical trajectory of the light beam captured by the camera and determines a mounting deviation of the vehicle-mounted sensor based on the optical trajectory. When the size of the optical path is smaller than a predetermined threshold value, the detection circuit does not perform the determination output of the mounting deviation, Sensor system.
  • (Feature 2) A sensor system according to feature 1, wherein In a situation where the detection circuit is performing the determination output of the mounting deviation, when the size of the optical locus becomes smaller than a predetermined threshold, the detection circuit interrupts the determination output of the mounting deviation, Sensor system.
  • (Characteristic 3) The sensor system according to feature 1 or feature 2, When the camera is in a range of a predetermined distance from the camera, and when imaging an object that may block the light rays, the detection circuit does not perform the determination output of the mounting deviation, Sensor system.
  • the optical trajectory is an optical pattern that is a pattern of reflected light obtained by irradiating the irradiation object with the light beam, Sensor system.
  • the sensor system according to any one of features 1 to 3 The optical trajectory is a ray trajectory that is a trajectory through which the light ray passes, Sensor system.
  • the sensor system according to any one of features 1 to 5 The on-vehicle sensor is at least one of a LIDAR, a millimeter wave radar, and a sonar, Sensor system.
  • the sensor system according to any one of features 1 to 6 The camera is at least one of a front camera attached to the front of the vehicle body or a side camera attached to the side of the vehicle body, Sensor system.
  • the camera system and vehicle according to the present disclosure are useful in fields requiring detection of camera mounting deviation at low cost. Further, the sensor system and the vehicle of the present disclosure are useful in a field requiring detection of mounting deviation of an in-vehicle sensor at low cost.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

低廉なコストで、車両に取り付けられたカメラの光軸ずれを検出する。カメラシステム（３８）は、車両（１）の車体（２）に配置可能であり、映像を撮像可能なカメラ（１０）と、光線を照射する光線照射装置（２０）と、カメラ（１０）が撮像した光線の光学軌跡を検出し、光学軌跡に基づきカメラ（１０）の取付ずれを判定する検出回路（４３）と、を有し、光学軌跡の大きさが所定の閾値より小さい場合、検出回路（４３）は取付ずれの判定出力を行わない。

Description

カメラシステム及び車両
　本開示は、カメラシステム及び車両に関する。
　車両に搭載されるカメラの取付角度（姿勢）を検出する技術が知られている。
日本国特開２０１８－９８７１５号公報 日本国特開２０１８－４７９１１号公報 日本国特開２００６－４７１４０号公報
　自動運転においてカメラの取付角度について、コストを抑えつつ高い検出精度が求められている。
　本開示は、カメラの取付角度を高い精度で検出可能としたカメラシステム及び車両を提供する。
　本開示のカメラシステムは、車両の車体に配置可能であり、映像を撮像可能なカメラと、光線を照射する光線照射装置と、前記カメラが撮像した前記光線の光学軌跡を検出し、当該光学軌跡に基づき前記カメラの取付ずれを判定する検出回路と、を有するカメラシステムであって、前記光学軌跡の大きさが所定の閾値より小さい場合、前記検出回路は前記取付ずれの判定出力を行わない。
　本開示の車両は、前記カメラシステムを備える。
　本開示によれば、カメラの取付角度を高い精度で検出することができる。
従来技術のカメラシステムによる従来例１の模式図 従来技術のカメラシステムによる従来例２の模式図 実施形態１に係る車両の一例の側面図 実施形態１に係る車両の一例の平面図 実施形態１に係るカメラシステムのカメラ視野と照射領域の一例を示す側面視の模式図 実施形態１に係るカメラシステムのカメラ視野と照射領域の一例を示す平面視の模式図 実施形態１に係るカメラシステムの一例を示すブロック図 実施形態１に係るカメラ取付ずれの判定例を示し、取付ずれのない状態を示す図 実施形態１に係るカメラ取付ずれの判定例を示し、取付ずれのある状態を示す図 実施形態１のカメラシステムのカメラ取付ずれ判定出力の一例を示すフローチャート図 実施形態１のリアビューカメラの取付ずれを検出する方法の一例を示す模式図 実施形態１のサイドカメラの取付ずれを検出する方法の一例を示す模式図 実施形態１のサイドカメラがドアミラーに装着または一体化されている場合の取付ずれを検出する方法の一例を示す模式図 リアビューカメラとサイドカメラの両方の視野によるリアビューカメラ及びサイドカメラの取付ずれを検出する方法の一例を示す模式図 従来技術のカメラシステムによる従来例１の模式図 従来例１をセンサシステムに適用した場合の模式図 従来技術のセンサシステムによる従来例２の模式図 従来技術のカメラシステムによる従来例３の模式図 実施形態２のセンサシステムを搭載した車両の一例を示す側面図 図１３Ａの平面図 実施形態２に係るセンサシステムのカメラ視野と照射領域の一例を示す側面視の模式図 実施形態２に係るセンサシステムのカメラ視野と照射領域の一例を示す平面視の模式図 実施形態２に係るセンサシステムの一例を示すブロック図 実施形態２に係る車載センサ取付ずれの判定例を示し、取付ずれのない状態を示す図 実施形態２に係る車載センサ取付ずれの判定例を示し、取付ずれのある状態を示す図 実施形態２のセンサシステムの車載センサ取付ずれ判定出力の一例を示すフローチャート図 実施形態２のサイドカメラがドアミラーに装着または一体化されている場合の取付ずれを検出する方法の一例を示す模式図
　以下、適宜図面を参照しながら、本開示に係るカメラシステム、センサシステム及び車両を具体的に開示した実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
　以下、本開示を実施するための好適な実施形態について、図面を参照して詳細に説明する。
　（実施形態１）
　車両に搭載されるカメラの車体に対する取付相対角度の算出には、カメラの絶対角度と車体の絶対角度の差をとる方法が一般的である。車体の絶対角度を取得する方法には、（１）車体に固定された傾斜角度センサを使用する、（２）カメラに搭載された傾斜角度センサの計測結果から推定する、等がある。（１）の場合では、カメラ取り付け角をリアルタイム検出するには、車体に固定された傾斜角度センサの検出結果を一斉に全てのカメラへ送信する必要があり通信路の占有率が上昇し通信内容の即時性が失われ、カメラ取付角算出結果の精度が悪化する。また、（２）の場合にはカメラの数だけ傾斜角度センサが必要となり、コスト上昇を招く。
　より具体的な手段として、カメラにおいて、フロントガラスに映る目印を撮像し、目印の座標との相違で姿勢変化を高精度で検出できる方法と、オートレベリングにおいて、加速度センサから得られる検出値の座標上の直線との傾きにより制御する方法とがある。
　カメラにおいては、従来例１の図１Ａに示されるように、車両１００は、カメラ１０１と、姿勢変化検出部１０２と、車両全体を統括制御するＥＳＰ、ＥＣＵなどの制御部１０３等を搭載している。姿勢変化検出部１０２で初期姿勢の目印の座標（ｕ０、ｖ０）とカメラ１０１が取得した座標（ｕ，ｖ）との差である変位量（ｕ－ｕ０、ｖ－ｖ０）と変位方向を算出する。すなわち、初期位置（基準位置）に対する現在位置（測定位置）の変位量と変位方向を算出して、カメラ１０１の姿勢を制御している。
　換言すると、ビジュアルオドメトリによるカメラ１０１の角度推定（θｖｏ）を行い車両姿勢角度（θＣＡＲ）との差でカメラ１０１の取付角度（θＣＡＭ＝θｖｏ－θＣＡＲ）を算出している。しかしながら、θＣＡＲの計測時刻とθｖｏの推定時刻がずれる（既時性が失われる）と、θＣＡＭの誤差が大きくなる可能性があり、カメラ取付角度判定に対して誤判定が増えることになる。
　オートレベリングにおいては、従来例２の図１Ｂに示されるように、車両１００は、カメラ１０１と、加速度センサ１０４と、車両全体を統括制御するＥＳＰ、ＥＣＵなどの制御部１０３等を搭載している。車両姿勢角度は加速度センサ１０４から得られるが、例えば、カメラ１０１に加速度センサ１０４と傾斜角度センサ１０５とを搭載しても良い。加速度センサ１０４と傾斜角度センサ１０５により車両姿勢角度（θＣＡＲ）を推定し、カメラ１０１の角度（θＣＡＲＡＢＳ）は傾斜角度センサ１０５で計測し、その差で制御部１０３は、カメラ１０１の取付角度（θＣＡＭ＝θＣＡＲＡＢＳ－θＣＡＲ）を算出する。この構成によれば、カメラ１０１内に傾斜角度センサ１０５が必要となり、車両１００に多数のカメラ１０１が搭載されると大幅なコストアップになる。
　以上の問題点を改善した本実施形態のカメラシステム及び車両は、カメラの取付の相対角度のずれ判定精度を損なうことなく、傾斜角度センサの搭載数を削減できる。
　図２Ａ及び図２Ｂは本実施形態の車両を示し、図２Ａは側面図、図２Ｂは平面図である。図３Ａ及び図３Ｂは、本実施形態のカメラシステムのカメラ視野と照明領域を示す模式図で、図３Ａは側面視、図３Ｂは平面視である。これらの図に示すように、車両の実施形態は道路運送車両法に基づく自動車において自動走行可能な自動車を一例に挙げている。車両は、前進、後退、右左折、回転等の自立的な走行（自動運転）が可能である。
　車両１は、車両１を構成する車体２と車輪３とを有し、車体２の側方にはドアミラー４が取り付けられ、車体２の前後にはナンバープレート５が取り付けられている。また、車両１には、映像を撮像可能なカメラ１０と、光線を照射する光線照射装置２０とが搭載されている。
　カメラ１０は、車両１の前方の映像を撮像するフロントカメラ１１であるが、車両１の後方の映像を撮像し車体２の後方に取り付けられるリアビューカメラ１２と、車両１の側方の映像を撮像し車体２の側方に取り付けられるサイドカメラ１３とを含んでいても良い。また、リアビューカメラ１２は、例えばナンバープレート５の上など、車幅の中央位置に取り付けられる。そして、サイドカメラ１３は、ドアミラー４に取り付けられていても良く、ドアミラー４の視野範囲の映像を撮像するドアミラーそのものをカメラ化した（例えばＣＭＳ：カメラモニタリングシステム）でも良い。
　光線照射装置２０は、車両１の前方を照射する第１光線照射装置２１と、車両１の後方を照射する第２光線照射装置２２と、車両１の側方を照射する第３光線照射装置２３とを有している。光線照射装置２０は、図示しない光源から出射される光線により日本の道路運送車両法の保安基準に定められている配光パターンＰを形成するが、光源をレーザー光とする例えば赤外線照射装置を備え、高い直進性を持つ光線で照射する照射パターンＱを有していても良い。
　図３Ａ及び図３Ｂにおいて、図中実線で示すＣはカメラ視野、図中破線で示すＤは、配光パターンＰと照射パターンＱの合成である照射領域である。以下、図７～図１０においても同様に表記される。
　第１光線照射装置２１は、ヘッドランプ（前照灯）、フォグランプ、クリアランスランプ等であり、第２光線照射装置２２は、テールランプ、ストップランプ、バックランプ等であり、第３光線照射装置２３はサイドランプ、ターンシグナルランプ等である。
　図４はカメラシステムのブロック図である。図４に基づいて本実施形態のカメラシステムを説明する。
　本実施形態のカメラシステム３８は、車両１に搭載され、カメラ１０と、光線照射装置２０と、カメラＥＣＵ４０とを備えている。カメラＥＣＵ４０は、ＣＰＵ等の制御部４１と、記憶部４２と、検出回路４３と、光線検出部４４と、障害物認識部４５と、発光制御部４６とを備えている。
　制御部４１は、カメラシステム３８の全体を制御し、記憶部４２は、予め用意されたテンプレート等の情報とカメラ１０で撮像された映像等を記憶し、光線検出部４４はカメラ１０が撮像した光線の光学軌跡を検出し、障害物認識部４５は、カメラ１０で撮像された映像から障害物などを認識する。検出回路４３は、光線検出部４４で検出された光線の光学軌跡に基づいてカメラ１０の取付ずれを判定すると共に、カメラ１０に対しては撮像モードを制御する。撮像モードに基づいてカメラ１０は、撮像を行い、撮像された映像は、映像信号に変換されて光線検出部４４及び障害物認識部４５に送信される。発光制御部４６は、光線照射装置２０の点消灯を制御し、例えば、光線照射装置２０に発光指令を行い、光線照射装置２０からのエラー信号などを受信する。
　光線照射装置２０が照射した光線は、任意の光学パターン、レーザーダイオードなどから照射される直線性の高いレーザー光などを含むが、ヘッドランプ等に組み込まれた近赤外線等の光源が照射する光線の所定の光線パターンも含まれる。近赤外線照射は、昼間などにおいて、可視光で形成される配光パターンＰからの検出が困難な場合、有効である。
　また、ＬＩＤＡＲ（Light Detection and Ranging）、ミリ波レーダ等を備えていても良い。ＬＩＤＡＲは、車両１の周囲に光線（例えば、赤外線レーザ）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物との距離、対象物の大きさ、及び対象物の組成を測定する。ミリ波レーダは、車両１の周囲に電波（ミリ波）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。ミリ波レーダは、ＬＩＤＡＲで検出困難な、より遠方の対象物も検出可能である。
　カメラ１０の取付ずれを判定するために必要な光学軌跡は、光線を照射対象物に照射して得られる反射光のパターンである光学パターンであり、光線が通過した軌跡である光線軌跡でもある。
　また、光線照射装置２０は、傾斜角度センサを備えていても良い。傾斜角度センサにより、車体２に対するカメラ１０の傾斜角度を常に推定できることが可能となり、照射方向の角度ずれによるカメラ１０の角度ずれの誤検出を予め防止可能である。
　図５Ａ及び図５Ｂは、カメラの取付ずれ判定出力の一例を示す模式図で、図５Ａが取付ずれの無い状態、図５Ｂは取付ずれのある状態である。図５Ａ及び図５Ｂに基づいてカメラの取付ずれ判定の一例を説明する。
　図５Ａ及び図５Ｂに示されるように、カメラ１０の取付ずれを判定するために、路面上に描かれた光学軌跡の一例である白線Ｒを利用する。判定する場合、白線Ｒが直線である路面を選択することが望ましい。白線Ｒの様な適切な照射対象物を照射して得られる反射光（光学パターン）をカメラ１０で撮像し、撮像された映像から光学軌跡を検出し、光学軌跡（例えば白線Ｒ）の位置及び角度を検出する。検出結果と、記憶部４２に記憶されたテンプレート等の位置及び角度と比較する。
　図５Ａは、光学軌跡（白線Ｒ）とテンプレートとが一致した場合を示し、図５Ｂは、光学軌跡（実線）とテンプレート（破線）が不一致な場合を示している。適切な位置及び角度であれば、カメラ１０の取付ずれはないと判定し、閾値以上であれば取付ずれがあると判定する。
　車両１の前方での白線Ｒからの反射光のパターンは、白線Ｒの形や車間距離、道路の諸事情によって変化するため、必ずしも適切に得られるとも限らないため、直線性のある光線による照射パターンＱを有することで、より正確な白線Ｒ情報が得られる。また、第１光線照射装置２１は、通常左右一対であるため、カメラ１０（フロントカメラ１１）で撮像される白線Ｒの位置及び角度の情報精度は向上する。
　図６は、カメラ１０の取付ずれの判定を示すフローチャート図である。図６に基づいてカメラ１０の取付ずれ判定の一例を説明する。
　カメラ１０で撮像された映像に基づいて、障害物認識部４５は、障害物検知処理を行う（ステップＳ１）。障害物検知処理とは、カメラ１０から所定距離内において、光線を遮る可能性ある物体が検出されるか否かを判定するステップであり、次のずれ検出開始条件を満たすか否かの判定（ステップＳ２）において、基本的な前提となる基本実施条件に相当する。
　但し、当該基本条件が満たされる度に、カメラ１０の取付ずれ検出を行うと、頻繁にカメラ１０の取付ずれ検出処理が実行され、光線照射装置２０の寿命などに悪影響をあたえる可能性がある。そこで、以下の付加条件を基本実施条件に加えてステップＳ２のずれ検出開始条件にすることもできる。
　（１）実施条件：検出をした方が好ましいタイミング、状況などに関する条件。
　ａ．車両１の起動（イグニッションのオン等）直後一定時間内
　ｂ．前回ズレ検出実行から一定時間経過後
　ｃ．車両１に衝撃が加わった直後
　ｄ．カメラ１０から一定距離以内に物体が撮像されたとき（何かに衝突した可能性がある）
　（２）不実施条件：検出をしない方が好ましいタイミング、状況などに関する条件。
　ａ．所定角度以上の操舵（光線が障害物のある方向などに進みやすく、安定した光学軌跡を得にくい）
　ｂ．坂道または所定距離先に坂道が存在する（カメラ１０、光線照射装置２０が傾き得る）
　ｃ．路面が不整であるとき（路面状況が悪く安定した光学軌跡を得にくい）
　ｄ．路面が濡れているとき（路面状況が悪く安定した光学軌跡を得にくい）
　ｅ．路面に積雪があるとき（路面状況が悪く安定した光学軌跡を得にくい）
　ずれ検出開始条件を満たすと判定した場合（ステップＳ２がＹｅｓ）、光線照射装置２０を点灯し光線を照射する（ステップＳ３）。ずれ検出開始条件を満たさないと判定した場合（ステップＳ２がＮｏ）、ずれ検出を行わない。例えば、カメラ１０が、当該カメラ１０から所定の距離の範囲に存在し、かつ光線を遮る可能性がある物体を撮像した場合、検出回路４３は取付ずれの判定出力を行わない。
　次に、光線の光線軌跡をカメラ１０で撮像し、検出回路４３で検出する（ステップＳ４）。そして、検出回路４３は、検出結果がずれ検出継続条件を満たすか否かの判定する（ステップＳ５）。
　ステップＳ５の判定は、検出した光学軌跡（光学パターン、光線軌跡）の長さが所定以上の長さか否かによって行う。光学軌跡の大きさが所定の閾値より大きい場合（ステップＳ５がＹｅｓ）、検出回路４３は、光学軌跡（例えば白線Ｒ）の位置及び角度θを算出する（ステップＳ６）。
　光学軌跡の大きさが所定の閾値より小さい場合（ステップＳ５がＮｏ）、検出回路４３は、ステップＳ６以下の取付ずれの判定出力を行わない。
　ただし、光学軌跡を検出する場合、対象物からの反射であるため外部要因の影響を受けやすい可能性があるため条件を厳しくし、検出した光学軌跡の大きさ（長さ）と、あらかじめ用意したテンプレート（例えば道路の白線のテンプレート）との大きさ（長さ）との間の一致度（尤度）が所定の値以上であるか否かを付加的に条件に加えても良い（所定の値以上であれば条件を満たす）。
　また、光線軌跡を検出する場合、基本的には空気中を進む光線の軌跡そのものであり、外部要因の影響を受けにくいことから条件は光学軌跡に比して緩く、検出した光線軌跡の線分の長さが所定の値以下であるか否か（例えば直進するレーザー光の光学軌跡が所定の長さ以上あれば条件を満たす）を条件にしても良い。
　次に検出回路４３は、記憶部４２より、テンプレート的な正常時の位置及び角度αを読み出し（ステップＳ７）、カメラ１０の取付ずれの判定出力を行う。即ち、角度αと角度θとの差が閾値以上であるか否かを判定する（ステップＳ８）。
　検出回路４３が当該取付ずれの判定出力を行っている状況において、光学軌跡の大きさが所定の閾値より小さくなった場合、検出回路４３は取付ずれの判定出力を中断する。これにより、判定出力の誤判定を抑制することができる。
　検出回路４３が、角度αと角度θとの差が閾値以上であると判定した場合（ステップＳ８がＹｅｓ）、カメラ１０は取付ずれを生じていると判定する（ステップＳ９）。また、検出回路４３が、角度αと角度θとの差が閾値以上でないと判定した場合（ステップＳ８がＮｏ）、カメラ１０は取付ずれを生じていないと判定する（ステップＳ１０）。
　カメラ１０が撮像した映像から光学軌跡を検出し、記憶部４２に記憶されたテンプレートなどと比較してカメラ１０の取付ずれを判定するため、取付ずれ判定出力の判定精度を損なうことなく、低コストでカメラ１０の取付ずれ（光軸ずれ）を検出することが可能となる。
　カメラ１０の取付ずれ判定出力において、フロントカメラ１１を中心に説明したが、リアビューカメラ１２及びサイドカメラ１３においても同様である。
　図７は、車両１の後方を撮像するリアビューカメラ１２の取付ずれを検出する方法を示している。車両１の後方を照射する第２光線照射装置２２による照射を利用して、検出回路４３は、リアビューカメラ１２が撮像した光線の光学軌跡（例えば白線Ｒ）を検出し、リアビューカメラ１２の取付ずれの判定出力を行う。
　図８は、車両１の側方を撮像するサイドカメラ１３の取付ずれを検出する方法を示している。車両１の側方を照射する第３光線照射装置２３による照射を利用して、検出回路４３は、サイドカメラ１３が撮像した光線の光学軌跡（例えば白線Ｒ）を検出し、サイドカメラ１３の取付ずれの判定出力を行う。側方照射において、第３光線照射装置２３であるサイドランプ、ターンシグナルランプ等が主であるが、第１光線照射装置２１の左右端からの照射を含めても良い。
　図９は、サイドカメラ１３がドアミラー４に装着または一体化されている場合のサイドカメラ１３の取付ずれを検出する方法を示している。車両１の側方を照射する第３光線照射装置２３及び車両１の後方を照射する第２光線照射装置（例えばテールランプ）２２による照射を利用して、検出回路４３は、サイドカメラ１３が撮像した光線の光学軌跡（例えば白線Ｒ）を検出し、サイドカメラ１３の取付ずれの判定出力を行う。
　図１０は、リアビューカメラ１２とサイドカメラ１３の両方の視野Ｃによるリアビューカメラ１２及びサイドカメラ１３取付ずれを検出する方法を示している。第２光線照射装置２２及び第３光線照射装置２３の照射領域Ｄを利用して、検出回路４３は、リアビューカメラ１２が撮像した光線の光学軌跡と、サイドカメラ１３が撮像した光線の光学軌跡とを比較して、リアビューカメラ１２及びサイドカメラ１３の取付ずれの判定出力を行う。これにより、第２光線照射装置２２及び第３光線照射装置２３に傾斜角度センサを用いずともリアビューカメラ１２及びサイドカメラ１３のいずれかが取付ずれを生じているか否かを検出可能である。
　以上の開示によれば、カメラで撮像した光線の光学軌跡によるカメラの取付ずれ判定出力を行うため、判定精度を損なうことなく、かつ傾斜角度センサの搭載数を削減することができ、低廉なコストで、カメラの光軸ずれを検出することができる。また、光学軌跡に所定の閾値を設けているため、誤判定を抑制することができる。
　以上、図面を参照してカメラシステム及び車両の実施形態について説明したが、本実施形態はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
　＜実施形態１のまとめ＞
　実施形態１は、以下の特徴を有する。
　（特徴１）
　車両の車体に配置可能であり、
　映像を撮像可能なカメラと、
　光線を照射する光線照射装置と、
　前記カメラが撮像した前記光線の光学軌跡を検出し、当該光学軌跡に基づき前記カメラの取付ずれを判定する検出回路と、を有するカメラシステムであって、
　前記光学軌跡の大きさが所定の閾値より小さい場合、前記検出回路は前記取付ずれの判定出力を行わない、
　カメラシステム。
　（特徴２）
　特徴１に記載のカメラシステムであって、
　前記検出回路が前記取付ずれの判定出力を行っている状況において、前記光学軌跡の大きさが所定の閾値より小さくなった場合、前記検出回路は前記取付ずれの判定出力を中断する、
　カメラシステム。
　（特徴３）
　特徴１又は特徴２に記載のカメラシステムであって、
　前記カメラが、当該カメラから所定の距離の範囲に存在し、かつ前記光線を遮る可能性がある物体を撮像した場合、前記検出回路は前記取付ずれの判定出力を行わない、
　カメラシステム。
　（特徴４）
　特徴１から特徴３のいずれか１つに記載のカメラシステムであって、
　前記光学軌跡は、前記光線を照射対象物に照射して得られる反射光のパターンである光学パターンである、
　カメラシステム。
　（特徴５）
　特徴１から特徴３のいずれか１つに記載のカメラシステムであって、
　前記光学軌跡は、前記光線が通過した軌跡である光線軌跡である、
　カメラシステム。
　（特徴６）
　特徴１から特徴５のいずれか１つに記載のカメラシステムであって、
　前記カメラが、前記車体の前方に取り付けられるフロントカメラ、前記車体の後方に取り付けられるリアビューカメラ、前記車体の側方に取り付けられるサイドカメラのうちの少なくとも一つである、
　カメラシステム。
　（特徴７）
　特徴６に記載のカメラシステムであって、
　前記カメラが、前記リアビューカメラと前記サイドカメラを含み、
　前記検出回路は、前記リアビューカメラが撮像した前記光線の光学軌跡と、前記サイドカメラが撮像した前記光線の光学軌跡とを比較して、前記カメラの取付ずれを判定する、
　カメラシステム。
　（特徴８）
　特徴１から特徴７のいずれか１つに記載のカメラシステムを備えた車両。
　（実施形態２）
　＜従来の問題点＞
　車両に搭載される車載センサの車体に対する取付相対角度の算出には、車載センサの絶対角度と車体の絶対角度の差をとる方法が一般的である。車体の絶対角度を取得する方法には、（１）車体に固定された傾斜角度センサを使用する、（２）車載センサに搭載された傾斜角度センサの計測結果から推定する、等がある。（１）の場合では、車載センサの数だけ傾斜角度センサが必要となる。車体に固定された傾斜角度センサの検出結果を一斉に全ての車載センサへ送信する必要があり通信路の占有率が上昇し通信内容の即時性が失われ、車載センサ取付（相対）角算出結果の精度が悪化する。また、（２）の場合には車載センサの数だけ傾斜角度センサ、加速度センサが必要となり、コスト上昇を招く。
　これとは別に、取付角度ズレ検出処理実行タイミングの検出には、当該車載センサ自身の検出結果（反射波受信レベル等）を用いる方法が従来から提案されているが、従来の方法では、当該車載センサがすでに取付ずれを起こしているときに、正しい検出処理実行タイミングを判定することが出来ず、取付ずれ誤判定を生じる。
　カメラにおいては、従来例１の図１１Ａに示されるように、車両１００は、カメラ１０１と、姿勢変化検出部１０２と、車両全体を統括制御するＥＳＰ、ＥＣＵなどの制御部１０３等を搭載している。姿勢変化検出部１０２で初期姿勢の目印の座標（ｕ０、ｖ０）とカメラ１０１が取得した座標（ｕ，ｖ）との差である変位量（ｕ－ｕ０、ｖ－ｖ０）と変位方向を算出する。すなわち、初期位置（基準位置）に対する現在位置（測定位置）の変位量と変位方向を算出して、カメラ１０１の姿勢を制御している。
　従来例１は、光線照射装置１０９に一体的に取り付けられた車載センサ１１０の姿勢制御にも適用可能である。図１１Ｂに示される車両１００は、光線照射装置１０９に車載センサ１１０が設けられ、姿勢変化検出部１０２は、傾斜角度センサでもある。傾斜角度センサである姿勢変化検出部１０２による車載センサ１１０の角度計測（θＳＡＢＳ）を行い車両姿勢角度（θＣＡＲ）との差で車載センサ１１０の（車体に対する相対）取付角度（θＳｒｅｌ＝θＳＡＢＳ－θＣＡＲ）を算出している。しかしながら、θＣＡＲの計測時刻とθＳＡＢＳの推定時刻がずれる（既時性が失われる）と、車載センサ角度θＣＡＭの誤差が大きくなる可能性があり、車載センサ１１０の取付ずれ判定に対して誤判定が増えることになる。
　オートレベリングにおいては、従来例２の図１２Ａに示されるように、車両１００は、カメラ１０１と、加速度センサ１０６と、車両全体を統括制御するＥＳＰ、ＥＣＵなどの制御部１０３等を搭載している。車両姿勢角度は加速度センサ１０６から得られるが、例えば、車載センサ１１０に加速度センサ１０６と姿勢変化検出部１０２とを搭載しても良い。加速度センサ１０６と姿勢変化検出部１０２により車両姿勢角度（θＣＡＲ）を推定し、車載センサ１１０の角度（θＳＡＢＳ）は姿勢変化検出部１０２で計測し、その差で制御部１０３は、車載センサ１０５の取付（相対）角度（θＳｒｅｌ＝θＳＡＢＳ－θＣＡＲ）を算出する。この構成によれば、車載センサ１１０内に加速度センサ１０６が必要となり、車両１００に多数の車載センサ１１０が搭載されると大幅なコストアップになる。
　従来例３は、図１２Ｂに示されるように、車両１００の前方にレーザ装置１０７と微小反射材１０８を取り付け、微小反射材１０８に関する基準データと使用時データとを比較して、比較結果が予め設定された一定値を超える場合レーザ装置１０７の軸ずれと判断する。しかしながら、レーザ装置１０７のような車載センサ１１０と微小反射材１０８が一緒に同じようにずれた場合、角度ずれの不検出となる。また、車載センサ１１０と微小反射材１０８が一体的に取り付けられる場合、車載センサ１１０と微小反射材１０８が一緒になってずれるため、ずれの検出が結局できなくなる。
　以上の従来の問題点を改善した本実施形態のセンサシステム及び車両は、車載センサの取付の相対角度のずれ判定精度を損なうことなく、傾斜角度センサの搭載数を削減できる。
　図１３Ａ及び図１３Ｂは本実施形態の車両を示し、図１３Ａは側面図、図１３Ｂは平面図である。図１４Ａ及び図１４Ｂは、本実施形態のセンサシステムのカメラ視野と照明領域を示す模式図で、図１４Ａは側面視、図１４Ｂは平面視である。これらの図に示すように、車両の実施形態は道路運送車両法に基づく自動車において自動走行可能な自動車を一例に挙げている。車両は、前進、後退、右左折、回転等の自立的な走行（自動運転）が可能である。
　車両１は、車両１を構成する車体２と車輪３とを有し、車体２の側方にはドアミラー４が取り付けられ、車体２の前後にはナンバープレート５が取り付けられている。また、車両１には、映像を撮像可能なカメラ１０と、光線を照射する光線照射装置２０と、車載センサ３０とが搭載されている。
　カメラ１０は、車両１の前方の映像を撮像するフロントカメラ１１であるが、車両１の後方の映像を撮像し車体２の後方に取り付けられるリアビューカメラ１２と、車両１の側方の映像を撮像し車体２の側方に取り付けられるサイドカメラ１３とを含んでいても良い。また、リアビューカメラ１２は、例えばナンバープレート５の上など、車幅の中央位置に取り付けられる。そして、サイドカメラ１３は、ドアミラー４に取り付けられていても良く、ドアミラー４の視野範囲の映像を撮像するドアミラーそのものをカメラ化した（例えばＣＭＳ：カメラモニタリングシステム）でも良い。
　光線照射装置２０は、車両１の前方を照射する第１光線照射装置２１と、車両１の後方を照射する第２光線照射装置２２と、車両１の側方を照射する第３光線照射装置２３とを有している。光線照射装置２０は、図示しない光源から出射される光線により日本の道路運送車両法の保安基準に定められている配光パターンＰを形成するが、光源をレーザー光とする例えば赤外線照射装置を備え、高い直進性を持つ光線で照射する照射パターンＱを有していても良い。
　車載センサ３０は、波動を照射して照射対象物までの距離を測定する。例えば、ＬＩＤＡＲ（Light Detection and Ranging）、ミリ波レーダ、ソナー、等である。車載センサ３０は、第１光線照射装置２１に一体に取り付けられる第１車載センサ３１と、第２光線照射装置２２に一体に取り付けられる第２車載センサ３２とを備える。また、第３光線照射装置３３に一体に取り付けられる第３車載センサを備えていても良い。
　ＬＩＤＡＲは、車両１の周囲に光線（例えば、赤外線レーザ）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する照射対象物との距離、照射対象物の大きさ、及び照射対象物の組成を測定する。ミリ波レーダは、車両１の周囲に電波（ミリ波）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する照射射象物までの距離を測定する。ミリ波レーダは、ＬＩＤＡＲで検出困難な、より遠方の対象物も検出可能である。ソナーは、車両１の周囲に音波を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する照射射象物までの距離を測定する。ソナーは、車両１近傍の照射対象物の正確な距離を検出可能である。
　図１４Ａ及び図１４Ｂにおいて、図中実線で示すＣはカメラ視野、図中破線で示すＤは、配光パターンＰと照射パターンＱの合成である照射領域である。図１８においても同様に表記される。
　第１光線照射装置２１は、ヘッドランプ（前照灯）、フォグランプ、クリアランスランプ等であり、第２光線照射装置２２は、テールランプ、ストップランプ、バックランプ等であり、第３光線照射装置２３はサイドランプ、ターンシグナルランプ等である。
　図１５はセンサシステムのブロック図である。図１５に基づいて本実施形態のセンサシステムを説明する。
　本実施形態のセンサシステム３９は、車両１に搭載され、カメラ１０と、光線照射装置２０と、車載センサ３０と、カメラＥＣＵ５０と、車載センサＥＣＵ６０とを備えている。カメラＥＣＵ５０は、記憶部５１と、検出回路５２と、光線検出部５３と、障害物認識部５４とを備えている。車載センサＥＣＵ６０は、センサ制御部６１と、発光制御部６２とを備えている。
　カメラＥＣＵ５０は、カメラ１０と連結し、カメラ１０からの映像信号を受信し、カメラ１０に対して撮像指令をする。車載センサＥＣＵ６０は、光線照射装置２０及び車載センサ３０と連結し、信号の送受信を行う。カメラＥＣＵ５０と車載センサＥＵＣ６０とが連結し、発光指令やずれ検出信号の送受信を行う。
　カメラＥＣＵ５０の記憶部５１は、予め用意されたテンプレート等の情報とカメラ１０で撮像された映像等を記憶し、検出回路５２は、車載センサ３０の取付ずれを判定する。光線検出部５３はカメラ１０が撮像した光線の光学軌跡を検出し、障害物認識部５４は、カメラ１０で撮像された映像から障害物などを認識する。又、検出回路５２は、光線検出部４４で検出された光線の光学軌跡に基づいて車載センサ３０の取付ずれを判定すると共に、カメラ１０に対しては撮像指令を出す。当該撮像指令に基づいてカメラ１０は、撮像を行い、撮像された映像は、映像信号に変換されて光線検出部５３及び障害物認識部５４に送信される。
　車載センサＥＣＵ６０のセンサ制御部６１は、車載センサ３０に対してセンシング指令を行い、センシング指令の基づいて得られるセンシング信号を受信する。発光制御部６２は、光線照射装置２０に発光指令を送信し、光線照射装置２０からのエラー信号を受信し、光線照射装置２０の点消灯を制御する。
　検出回路５２とセンサ制御部６１は、車載センサ３０の取付ずれの判定を行うため情報の送受信を行う。例えば、センサ制御部６１から検出回路５２に車載センサ３０のずれ判定要求を指令し、検出回路５２はカメラ１０の情報に基づいて車載センサ３０のずれ判定を行い、ずれ判定結果をセンサ制御部６１に送信する。また、検出回路５２は、センサ制御部６１に対して、光線照射装置２０の発光指令も行う。
　光線照射装置２０が照射した光線は、任意の光学パターン、レーザーダイオードなどから照射される直線性の高いレーザー光などを含むが、ヘッドランプ等に組み込まれた近赤外線等の光源が照射する光線の所定の光線パターンも含まれる。近赤外線照射は、昼間などにおいて、可視光で形成される配光パターンＰからの検出が困難な場合、有効である。
　車載センサ３０の取付ずれを判定するために必要な光学軌跡は、光線を照射対象物に照射して得られる反射光のパターンである光学パターンであり、光線が通過した軌跡である光線軌跡でもある。
　また、光線照射装置２０は、傾斜角度センサを備えていても良い。傾斜角度センサにより、車体２に対する車載センサ３０の傾斜角度を常に推定できることが可能となり、照射方向の角度ずれによる車載センサ３０の角度ずれの誤検出を予め防止可能である。
　図１６Ａ及び図１６Ｂは、車載センサの取付ずれ判定出力の一例を示す模式図で、図１６Ａが取付ずれの無い状態、図１６Ｂは取付ずれのある状態である。図１６Ａ及び図１６Ｂに基づいて車載センサの取付ずれ判定の一例を説明する。
　図１６Ａ及び図１６Ｂに示されるように、車載センサ３０の取付ずれを判定するために、路面上に描かれた光学軌跡の一例である白線Ｒを利用する。判定する場合、白線Ｒが直線である路面を選択することが望ましい。白線Ｒの様な適切な照射対象物を照射して得られる反射光（光学パターン）をカメラ１０で撮像し、撮像された映像から光学軌跡を検出し、光学軌跡（例えば白線Ｒ）の位置及び角度を検出する。検出結果と、記憶部４２に記憶されたテンプレート等の位置及び角度と比較する。
　図１６Ａは、光学軌跡（白線Ｒ）とテンプレートとが一致した場合を示し、図１６Ｂは、光学軌跡（実線）とテンプレート（破線）が不一致な場合を示している。適切な位置及び角度であれば、車載センサ３０の取付ずれはないと判定し、閾値以上であれば取付ずれがあると判定する。
　車両１の前方での白線Ｒからの反射光のパターンは、白線Ｒの形や車間距離、道路の諸事情によって変化するため、必ずしも適切に得られるとも限らないため、直線性のある光線による照射パターンＱを有することで、より正確な白線Ｒ情報が得られる。また、第１光線照射装置２１は、通常左右一対であるため、カメラ１０（フロントカメラ１１）で撮像される白線Ｒの位置及び角度の情報精度は向上する。
　図１７は、車載センサ３０の取付ずれの判定を示すフローチャート図である。図１７に基づいて車載センサ３０の取付ずれ判定の一例を説明する。
　カメラ１０で撮像された映像に基づいて、障害物認識部５４は、障害物検知処理を行う（ステップＳ１）。障害物検知処理とは、カメラ１０から所定距離内において、光線を遮る可能性ある物体が検出されるか否かを判定するステップであり、次のずれ検出開始条件を満たすか否かの判定（ステップＳ２）において、基本的な前提となる基本実施条件に相当する。
　但し、当該基本条件が満たされる度に、車載センサ３０の取付ずれ検出を行うと、頻繁に車載センサ３０の取付ずれ検出処理が実行され、光線照射装置２０の寿命などに悪影響をあたえる可能性がある。そこで、以下の付加条件を基本実施条件に加えてステップＳ２のずれ検出開始条件にすることもできる。
　（１）実施条件：検出をした方が好ましいタイミング、状況などに関する条件。
　ａ．車両１の起動（イグニッションのオン等）直後一定時間内
　ｂ．前回ズレ検出実行から一定時間経過後
　ｃ．車両１に衝撃が加わった直後
　ｄ．カメラ１０から一定距離以内に物体が撮像されたとき（何かに衝突した可能性がある）
　ｅ．車載センサ３０から一定距離以内に物体が検出されたとき（何かに衝突した可能性がある）
　（２）不実施条件：検出をしない方が好ましいタイミング、状況などに関する条件。
　ａ．所定角度以上の操舵（光線が障害物のある方向などに進みやすく、安定した光学軌跡を得にくい）
　ｂ．坂道または所定距離先に坂道が存在する（光線照射装置２０、車載センサ３０が傾き得る）
　ｃ．路面が不整であるとき（路面状況が悪く安定した光学軌跡を得にくい）
　ｄ．路面が濡れているとき（路面状況が悪く安定した光学軌跡を得にくい）
　ｅ．路面に積雪があるとき（路面状況が悪く安定した光学軌跡を得にくい）
　本実施形態のセンサシステム３９における車載センサ３０の取付ずれ判定は、光学軌跡に基づき光線照射装置２０の取付ずれ＝車載センサ３０の取付ずれを判定するため、カメラ１０のずれは基本的にない、又はずれがあっても周知の技術を用いて修正できることが前提となっている。
　ずれ検出開始条件を満たすと判定した場合（ステップＳ２がＹｅｓ）、光線照射装置２０を点灯し光線を照射する（ステップＳ３）。ずれ検出開始条件を満たさないと判定した場合（ステップＳ２がＮｏ）、ずれ検出を行わない。例えば、カメラ１０が、当該カメラ１０から所定の距離の範囲に存在し、かつ光線を遮る可能性がある物体を撮像した場合、検出回路５２は取付ずれの判定出力を行わない。
　次に、光線の光線軌跡をカメラ１０で撮像し、光線検出部５３で検出する（ステップＳ４）。そして光線検出部５３で検出された情報は検出回路５２に送られ、検出回路５２は、検出結果がずれ検出継続条件を満たすか否かの判定する（ステップＳ５）。
　ステップＳ５の判定は、検出した光学軌跡（光学パターン、光線軌跡）の長さが所定以上の長さか否かによって行う。光学軌跡の大きさが所定の閾値より大きい場合（ステップＳ５がＹｅｓ）、検出回路５２は、光学軌跡（例えば白線Ｒ）の位置及び角度θを算出する（ステップＳ６）。
　光学軌跡の大きさが所定の閾値より小さい場合（ステップＳ５がＮｏ）、検出回路５２は、ステップＳ６以下の取付ずれの判定出力を行わない。
　ただし、光学軌跡を検出する場合、対象物からの反射であるため外部要因の影響を受けやすい可能性があるため条件を厳しくし、検出した光学軌跡の大きさ（長さ）と、あらかじめ用意したテンプレート（例えば道路の白線のテンプレート）との大きさ（長さ）との間の一致度（尤度）が所定の値以上であるか否かを付加的に条件に加えても良い（所定の値以上であれば条件を満たす）。
　また、光線軌跡を検出する場合、基本的には空気中を進む光線の軌跡そのものであり、外部要因の影響を受けにくいことから条件は光学軌跡に比して緩く、検出した光線軌跡の線分の長さが所定の値以下であるか否か（例えば直進するレーザー光の光学軌跡が所定の長さ以上あれば条件を満たす）を条件にしても良い。
　次に検出回路５２は、記憶部５１より、テンプレート的な正常時の位置及び角度αを読み出し（ステップＳ７）、車載センサ３０の取付ずれの判定出力を行う。即ち、角度αと角度θとの差が閾値以上であるか否かを判定する（ステップＳ８）。
　検出回路５２が当該取付ずれの判定出力を行っている状況において、光学軌跡の大きさが所定の閾値より小さくなった場合、検出回路５２は取付ずれの判定出力を中断する。これにより、判定出力の誤判定を抑制することができる。
　検出回路５２が、角度αと角度θとの差が閾値以上であると判定した場合（ステップＳ８がＹｅｓ）、車載センサ３０は取付ずれを生じていると判定する（ステップＳ２０）。また、検出回路５２が、角度αと角度θとの差が閾値以上でないと判定した場合（ステップＳ８がＮｏ）、車載センサ３０は取付ずれを生じていないと判定する（ステップＳ２１）。
　カメラ１０が撮像した映像から光学軌跡を検出し、記憶部５１に記憶されたテンプレートなどと比較して車載センサ３０の取付ずれを判定するため、取付ずれ判定出力の判定精度を損なうことなく、低コストで車載センサ３０の取付ずれ（光軸ずれ）を検出することが可能となる。
　車載センサ３０の取付ずれ判定出力において、第１車載センサ３１を中心に説明したが、第２車載センサ３２及び第３車載センサにおいても同様である。
　図１７は、車両１の後方及びコナー側を検出する第２車載センサ３２の取付ずれを検出する方法を示している。サイドカメラ１３がドアミラー４に装着または一体化されている。車両１の側方を照射する第３光線照射装置２３及び車両１の後方を照射する第２光線照射装置（例えばテールランプ）２２による照射を利用して、検出回路４３は、サイドカメラ１３が撮像した光線の光学軌跡（例えば白線Ｒ）を検出し、第２車載センサ３２の取付ずれの判定出力を行う。尚、第２車載センサ３２の検出範囲Ｔは、図１７において囲まれた破線で示してある。
　以上の開示によれば、カメラで撮像した光線の光学軌跡による車載センサの取付ずれ判定出力を行うため、判定精度を損なうことなく、かつ傾斜角度センサの搭載数を削減することができ、低廉なコストで、車載センサの光軸ずれを検出することができる。また、光学軌跡に所定の閾値を設けているため、誤判定を抑制することができる。
　以上、図面を参照してセンサシステム及び車両の実施形態について説明したが、本実施形態はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
　＜実施形態２のまとめ＞
　実施形態２は、以下の特徴を有する。
　（特徴１）
　車両の車体に配置可能であり、
　映像を撮像可能なカメラと、
　光線を照射する光線照射装置と、
　前記光線照射装置に一体的に取り付けられ、波動を照射して少なくとも照射対象物までの距離を測定する車載センサと、
　前記カメラが撮像した前記光線の光学軌跡を検出し、当該光学軌跡に基づき前記車載センサの取付ずれを判定する検出回路と、を有するセンサシステムであって、
　前記光学軌跡の大きさが所定の閾値より小さい場合、前記検出回路は前記取付ずれの判定出力を行わない、
　センサシステム。
　（特徴２）
　特徴１に記載のセンサシステムであって、
　前記検出回路が前記取付ずれの判定出力を行っている状況において、前記光学軌跡の大きさが所定の閾値より小さくなった場合、前記検出回路は前記取付ずれの判定出力を中断する、
　センサシステム。
　（特徴３）
　特徴１又は特徴２に記載のセンサシステムであって、
　前記カメラが、当該カメラから所定の距離の範囲に存在し、かつ前記光線を遮る可能性がある物体を撮像した場合、前記検出回路は前記取付ずれの判定出力を行わない、
　センサシステム。
　（特徴４）
　特徴１から特徴３のいずれか１つに記載のセンサシステムであって、
　前記光学軌跡は、前記光線を照射対象物に照射して得られる反射光のパターンである光学パターンである、
　センサシステム。
　（特徴５）
　特徴１から特徴３のいずれか１つに記載のセンサシステムであって、
　前記光学軌跡は、前記光線が通過した軌跡である光線軌跡である、
　センサシステム。
　（特徴６）
　特徴１から特徴５のいずれか１つに記載のセンサシステムであって、
　前記車載センサが、ＬＩＤＡＲ、ミリ波レーダ、ソナーのうちの少なくとも一つである、
　センサシステム。
　（特徴７）
　特徴１から特徴６のいずれか１つに記載のセンサシステムであって、
　前記カメラが、前記車体の前方に取り付けられるフロントカメラ、または前記車体の側方に取り付けられるサイドカメラのうちの少なくとも一つである、
　センサシステム。
　（特徴８）
　特徴１から特徴７のいずれか１つに記載のセンサシステムを備えた車両。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０１８年１１月１５日出願の日本特許出願（特願２０１８－２１４４９０）に基づくものであり、その内容は本出願の中に参照として援用される。また、本出願は、２０１８年１２月２７日出願の日本特許出願（特願２０１８－２１６０１０）に基づくものであり、その内容は本出願の中に参照として援用される。
　本開示のカメラシステム及び車両は、低廉なコストで、カメラの取付ずれの検出を要求する分野に有用である。また、本開示のセンサシステム及び車両は、低廉なコストで、車載センサの取付ずれの検出を要求する分野に有用である。
　１　車両
　２　車体
　３　車輪
　４　ドアミラー
　５　ナンバープレート
　１０　カメラ
　１１　フロントカメラ
　１２　リアビューカメラ
　１３　サイドカメラ
　２０　光線照射装置
　２１　第１光線照射装置
　２２　第２光線照射装置
　２３　第３光線照射装置
　３０　車載センサ
　３１　第１車載センサ
　３２　第２車載センサ
　３８　カメラシステム
　３９　センサシステム
　４０　カメラＥＣＵ
　４１　制御部
　４２　記憶部
　４３　検出回路
　４４　光線検出部
　４５　障害物認識部
　４６　発光制御部
　５０　カメラＥＣＵ
　５１　記憶部
　５２　検出回路
　５３　光線検出部
　５４　障害物認識部
　６０　車載センサＥＣＵ
　６１　センサ制御部
　６２　発光制御部
　Ｃ　カメラ視野
　Ｄ　照射領域
　Ｐ　配光パターン
　Ｑ　照射パターン
　Ｒ　白線（光学軌跡）
　Ｔ　車載センサ検出範囲

Claims (8)

  1. 　車両の車体に配置可能であり、
    　映像を撮像可能なカメラと、
    　光線を照射する光線照射装置と、
    　前記カメラが撮像した前記光線の光学軌跡を検出し、当該光学軌跡に基づき前記カメラの取付ずれを判定する検出回路と、を有するカメラシステムであって、
    　前記光学軌跡の大きさが所定の閾値より小さい場合、前記検出回路は前記取付ずれの判定出力を行わない、
    　カメラシステム。
  2. 　請求項１に記載のカメラシステムであって、
    　前記検出回路が前記取付ずれの判定出力を行っている状況において、前記光学軌跡の大きさが所定の閾値より小さくなった場合、前記検出回路は前記取付ずれの判定出力を中断する、
    　カメラシステム。
  3. 　請求項１又は請求項２に記載のカメラシステムであって、
    　前記カメラが、当該カメラから所定の距離の範囲に存在し、かつ前記光線を遮る可能性がある物体を撮像した場合、前記検出回路は前記取付ずれの判定出力を行わない、
    　カメラシステム。
  4. 　請求項１から請求項３のいずれか１項に記載のカメラシステムであって、
    　前記光学軌跡は、前記光線を照射対象物に照射して得られる反射光のパターンである光学パターンである、
    　カメラシステム。
  5. 　請求項１から請求項３のいずれか１項に記載のカメラシステムであって、
    　前記光学軌跡は、前記光線が通過した軌跡である光線軌跡である、
    　カメラシステム。
  6. 　請求項１から請求項５のいずれか１項に記載のカメラシステムであって、
    　前記カメラが、前記車体の前方に取り付けられるフロントカメラ、前記車体の後方に取り付けられるリアビューカメラ、前記車体の側方に取り付けられるサイドカメラのうちの少なくとも一つである、
    　カメラシステム。
  7. 　請求項６に記載のカメラシステムであって、
    　前記カメラが、前記リアビューカメラと前記サイドカメラを含み、
    　前記検出回路は、前記リアビューカメラが撮像した前記光線の光学軌跡と、前記サイドカメラが撮像した前記光線の光学軌跡とを比較して、前記カメラの取付ずれを判定する、
    　カメラシステム。
  8. 　請求項１から請求項７のいずれか１項に記載のカメラシステムを備えた車両。
PCT/JP2019/044198 2018-11-15 2019-11-11 カメラシステム及び車両 WO2020100835A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980075012.1A CN113016179A (zh) 2018-11-15 2019-11-11 摄像机系统和车辆
DE112019005747.2T DE112019005747T5 (de) 2018-11-15 2019-11-11 Kamerasystem und Fahrzeug
US17/318,466 US20210263156A1 (en) 2018-11-15 2021-05-12 Camera system, vehicle and sensor system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018214490A JP2020088409A (ja) 2018-11-15 2018-11-15 カメラシステム及び車両
JP2018-214490 2018-11-15
JP2018246010A JP2020108034A (ja) 2018-12-27 2018-12-27 センサシステム及び車両
JP2018-246010 2018-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/318,466 Continuation US20210263156A1 (en) 2018-11-15 2021-05-12 Camera system, vehicle and sensor system

Publications (1)

Publication Number Publication Date
WO2020100835A1 true WO2020100835A1 (ja) 2020-05-22

Family

ID=70731158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044198 WO2020100835A1 (ja) 2018-11-15 2019-11-11 カメラシステム及び車両

Country Status (4)

Country Link
US (1) US20210263156A1 (ja)
CN (1) CN113016179A (ja)
DE (1) DE112019005747T5 (ja)
WO (1) WO2020100835A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220163666A1 (en) * 2020-11-24 2022-05-26 Pixart Imaging Inc. Method for eliminating misjudgment of reflective lights and optical sensing system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113709950A (zh) * 2021-08-25 2021-11-26 深圳市全景达科技有限公司 一种车内氛围灯控制方法、系统、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240208A (ja) * 2006-03-06 2007-09-20 Toyota Central Res & Dev Lab Inc 環境認識装置
JP2008269139A (ja) * 2007-04-18 2008-11-06 Sanyo Electric Co Ltd 運転支援システム並びに車両
WO2015129280A1 (ja) * 2014-02-26 2015-09-03 京セラ株式会社 画像処理装置および画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003002138A (ja) * 2001-06-19 2003-01-08 Toshiba Corp 車載後方監視方法およびその装置
JP2006047140A (ja) 2004-08-05 2006-02-16 Fujitsu Ten Ltd レーダ装置の軸ずれ検知方法および検知装置
JP5414714B2 (ja) * 2011-03-04 2014-02-12 日立オートモティブシステムズ株式会社 車戴カメラ及び車載カメラシステム
JP5733395B2 (ja) * 2011-06-13 2015-06-10 日産自動車株式会社 車載用画像認識装置、撮像軸調整装置およびレーン認識方法
JP6271943B2 (ja) 2012-10-24 2018-01-31 株式会社小糸製作所 車両用灯具の制御装置
JP6237875B2 (ja) * 2014-02-24 2017-11-29 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
JP2018098715A (ja) 2016-12-16 2018-06-21 本田技研工業株式会社 車載カメラの姿勢変化検出装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240208A (ja) * 2006-03-06 2007-09-20 Toyota Central Res & Dev Lab Inc 環境認識装置
JP2008269139A (ja) * 2007-04-18 2008-11-06 Sanyo Electric Co Ltd 運転支援システム並びに車両
WO2015129280A1 (ja) * 2014-02-26 2015-09-03 京セラ株式会社 画像処理装置および画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220163666A1 (en) * 2020-11-24 2022-05-26 Pixart Imaging Inc. Method for eliminating misjudgment of reflective lights and optical sensing system
US11921205B2 (en) * 2020-11-24 2024-03-05 Pixart Imaging Inc. Method for eliminating misjudgment of reflective lights and optical sensing system

Also Published As

Publication number Publication date
US20210263156A1 (en) 2021-08-26
CN113016179A (zh) 2021-06-22
DE112019005747T5 (de) 2021-08-19

Similar Documents

Publication Publication Date Title
US9751528B2 (en) In-vehicle control device
US6823261B2 (en) Monitor system of vehicle outside and the method thereof
JP4428208B2 (ja) 車両用物体認識装置
JP3915742B2 (ja) 車両用物体認識装置
US9223311B2 (en) Vehicle driving support control apparatus
JP2646146B2 (ja) 車間距離制御装置
US6859730B2 (en) Monitor system of vehicle outside and method of monitoring same
JP6988200B2 (ja) 車両制御装置
US20120275172A1 (en) Vehicular headlight apparatus
JP2005077379A (ja) レーダ装置
US20210263156A1 (en) Camera system, vehicle and sensor system
US20210162916A1 (en) Vehicle light-projection controlling device, vehicle light-projection system, and vehicle light-projection controlling method
JPH0719882A (ja) 車両の走行域認識装置及びそれを備えた自動車の安全装置
JP5026930B2 (ja) 車両光源の方向を動的に修正するシステム及び修正方法
JP2008003959A (ja) 車両用通信システム
US11433888B2 (en) Driving support system
JP3941791B2 (ja) 車両用物体認識装置及びプログラム
US20210179105A1 (en) Vehicle and method of controlling the same
JP4890892B2 (ja) 車両用測距装置
JP7056379B2 (ja) 車両用走行制御装置
JP2020108034A (ja) センサシステム及び車両
JP4434864B2 (ja) 車両の灯体制御装置
JP2020088409A (ja) カメラシステム及び車両
JPH1068777A (ja) 車両用先行車検出装置
JP5859897B2 (ja) 車載カメラ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19884499

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19884499

Country of ref document: EP

Kind code of ref document: A1