WO2016056088A1 - 車載カメラ制御装置 - Google Patents

車載カメラ制御装置 Download PDF

Info

Publication number
WO2016056088A1
WO2016056088A1 PCT/JP2014/076974 JP2014076974W WO2016056088A1 WO 2016056088 A1 WO2016056088 A1 WO 2016056088A1 JP 2014076974 W JP2014076974 W JP 2014076974W WO 2016056088 A1 WO2016056088 A1 WO 2016056088A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
imaging
vehicle camera
camera
unit
Prior art date
Application number
PCT/JP2014/076974
Other languages
English (en)
French (fr)
Inventor
翼 森田
水口　武尚
悦男 轟
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US15/323,013 priority Critical patent/US20170136962A1/en
Priority to CN201480082550.0A priority patent/CN106794807B/zh
Priority to JP2016552755A priority patent/JP6081034B2/ja
Priority to DE112014007047.5T priority patent/DE112014007047B4/de
Priority to PCT/JP2014/076974 priority patent/WO2016056088A1/ja
Publication of WO2016056088A1 publication Critical patent/WO2016056088A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • B60K2360/21—
    • B60K2360/27—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0092—Adjustable or movable supports with motorization
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Definitions

  • This invention relates to an in-vehicle camera control device for controlling an in-vehicle camera.
  • Patent Document 1 Conventionally, there is a vehicle exterior monitoring device using an in-vehicle camera that is installed in a vehicle interior and captures the scenery outside the vehicle through the window glass.
  • the outside-of-vehicle monitoring device disclosed in Patent Document 1 uses the fact that the luminance distribution characteristics are different between when the captured image is normal and when the image is blurred, and monitors when the image is blurred. A fail-safe function that temporarily interrupts control was activated.
  • the present invention has been made to solve the above-described problems, and has an object of enabling normal images to be captured even when the deterioration of the imaging environment cannot be resolved even if a wiper or the like is operated. To do.
  • An in-vehicle camera control device controls an in-vehicle camera that is movably installed in a vehicle and images a scenery outside the vehicle through a window glass, and is in an imaging state using an image captured by the in-vehicle camera. If it is determined that the imaging is impossible by the evaluation unit that evaluates the image, the imaging availability determination unit that determines whether or not to continue imaging based on the evaluation result by the evaluation unit, and driving toward the drive unit of the in-vehicle camera A drive control unit that outputs a signal and moves the in-vehicle camera.
  • the in-vehicle camera is moved when it is determined that the imaging is impossible, the in-vehicle camera is moved to a position where a normal image can be captured when the deterioration of the imaging environment cannot be resolved even if the wiper or the like is operated. Can be moved.
  • FIG. 4 is a schematic diagram illustrating an example of processing performed by the in-vehicle camera control device according to Embodiment 1.
  • FIG. 4 is a figure which shows an example of the brightness
  • FIG. 4 is a flowchart illustrating an example of the operation of the in-vehicle camera control device according to the first embodiment.
  • FIG. 6 is a diagram illustrating a configuration example of an in-vehicle camera used in Embodiment 2.
  • FIG. 6 is a figure which shows the example of a change of the angle of the vehicle-mounted camera used in Embodiment 2.
  • FIG. 6 is a flowchart illustrating an example of an operation of the in-vehicle camera control device according to the second embodiment.
  • FIG. 10 is a diagram illustrating a moving method of a stereo camera used in Embodiment 4.
  • FIG. 10 is a flowchart illustrating an example of the operation of the in-vehicle camera control device according to the fourth embodiment.
  • an in-vehicle camera control device 1 is an in-vehicle device that controls an in-vehicle camera 2 that is movably installed in a vehicle and images a scene outside the vehicle through a window glass.
  • the in-vehicle camera control device 1 will be described using an example in which a driving support system is configured by the in-vehicle camera control device 1 and the in-vehicle camera 2.
  • the in-vehicle camera control device 1 is configured by an ECU (Electronic Control Unit) or the like, and executes a program stored in an internal memory, thereby executing an evaluation unit 11, an imaging availability determination unit 12, a driving support unit 13, and a drive control unit 14. As a function.
  • the in-vehicle camera 2 includes a camera body 21 incorporating an image sensor such as a CCD (Charge Coupled Device), and a drive unit 22 configured by a motor or the like.
  • the evaluation unit 11 evaluates whether or not dirt is reflected in the captured image as the “imaging state”.
  • the evaluation unit 11 acquires a captured image from the camera body 21, evaluates an imaging state based on the luminance value, and determines a moving direction of the camera body 21 based on the evaluation result.
  • the evaluation unit 11 outputs the evaluation result of the imaging state and camera movement information to the imaging availability determination unit 12.
  • the imaging availability determination unit 12 determines that imaging can be continued if the captured image does not include dirt, and that imaging cannot be continued if the captured image includes dirt. To do.
  • the imaging availability determination unit 12 outputs the determination result of whether imaging is possible or not to the driving support unit 13. Further, when the imaging is impossible, the imaging availability determination unit 12 outputs the camera movement information determined by the evaluation unit 11 to the drive control unit 14 in order to move the vehicle-mounted camera 2 to a position where imaging is possible.
  • the driving support unit 13 when the imaging availability determination unit 12 determines that imaging is possible, assumes that it can normally support driving using the captured image, and generates information related to driving support based on the captured image from the camera body 21. Output to a head-up display (HUD), throttle control device, brake control device, and the like. On the other hand, when the imaging availability determination unit 12 determines that imaging is not possible, the driving support unit 13 regards that normal driving support is not possible and does not generate or output driving support information (fail state).
  • HUD head-up display
  • the driving support unit 13 regards that normal driving support is not possible and does not generate or output driving support information (fail state).
  • the driving support unit 13 generates driving support information for displaying a warning message on the HUD when an obstacle or a person is detected from the captured image, or highlights an obstacle or the like on the captured image.
  • Driving assistance information generated.
  • the driving support unit 13 detects a preceding vehicle from a captured image in front of the vehicle, and generates driving support information for controlling a throttle and a brake in order to perform follow-up traveling (auto cruise).
  • the captured image is not limited to driving assistance such as auto cruise, but may be used for applications such as automatic driving control.
  • the drive control unit 14 generates a drive signal for driving the drive unit 22 in accordance with the camera movement information notified from the imaging availability determination unit 12 and outputs the drive signal to the drive unit 22.
  • the drive signal includes information such as the direction in which the camera body 21 is moved and the distance moved.
  • the drive unit 22 moves the camera body 21 based on the drive signal received from the drive control unit 14.
  • the camera body 21 captures the outside of the vehicle through the window glass and outputs the captured image to the in-vehicle camera control device 1.
  • FIG. 2 is a view of the windshield 3 as seen from inside the vehicle.
  • a rack gear 25 is installed on the upper portion of the vehicle body frame 4 so that the camera body 21 can move in the horizontal direction along the rack gear 25.
  • the drive unit 22 includes a motor 23 as power and a pinion gear 24 that meshes with a rack gear 25 as power transmission means. When the motor 23 rotates the pinion gear 24 by the drive signal, the camera body 21 moves in the direction opposite to the direction in which the pinion gear 24 rotates.
  • the vehicle-mounted camera 2 is installed on the windshield 3 and the front of the vehicle is imaged.
  • the present invention is not limited to this, and the vehicle-mounted camera 2 is mounted on the vehicle side or rear window glass. You may set it as the structure which installs and images a vehicle side or back.
  • a plurality of in-vehicle cameras 2 may be installed on one window glass, or the in-vehicle cameras 2 may be installed on each of the plurality of window glasses.
  • the vehicle-mounted camera 2 is configured to move in the horizontal direction, the moving direction is not limited to this, and a configuration in which the vehicle-mounted camera 2 is moved in the vertical direction may be used.
  • FIG. 3 is a schematic diagram illustrating an example of processing performed by the in-vehicle camera control device 1.
  • FIG. 3A shows a state in which imaging by the in-vehicle camera 2 is hindered by the dirt 100 attached to the windshield 3.
  • FIG. 3B shows an image 101 captured by the in-vehicle camera 2 in the state of FIG. Dirt 100 is reflected in the left part of the image 101, and the scenery in front of the vehicle is not captured.
  • the evaluation unit 11 performs binarization processing on the captured image 101, and sets the luminance value of each pixel of the image 101 to 0 (black) or 1 (white) based on the luminance threshold. Sort out.
  • FIG. 4 shows an example of the brightness threshold.
  • the horizontal axis represents the luminance value (0 to 255), and the vertical axis represents the cumulative number of pixels.
  • the evaluation unit 11 selects a different brightness threshold t according to time.
  • the evaluation unit 11 determines a luminance threshold value t at which the ratio of white: black pixels in the image obtained by binarization as shown in FIG. Considering that the brightness value of the captured image is lower at night because the surroundings are darker than during the day, the evaluation unit 11 performs white: black in the binarized image as shown in FIG.
  • the luminance threshold t at which the ratio of the pixels is 3: 7 is determined.
  • the evaluation unit 11 performs binarization as shown in FIG. A luminance threshold t at which the ratio of white: black pixels is 4: 6 is determined.
  • the example of FIG. 4 is an example, and the method of determining the brightness threshold t is not limited to this.
  • the evaluation unit 11 uses the discriminant identification method to maximize the inter-class variance so that the valley becomes the luminance threshold value.
  • a luminance threshold value t may be calculated.
  • the evaluation unit 11 may smooth the noise of the captured image using a smoothing filter before binarization.
  • FIG. 3C shows an image 102 obtained by binarizing the image 101 based on the brightness threshold value t.
  • the evaluation unit 11 divides the resulting image 102 into two frames, a left frame L and a right frame R, with reference to a dotted line M drawn in the vertical direction from the image center point.
  • the evaluation unit 11 calculates the number of pixels with the luminance value 0 (black) and the number of pixels with the luminance value 1 (white) included in the left frame L.
  • the evaluation unit 11 calculates the number of pixels having a luminance value 0 (black) and the number of pixels having a luminance value 1 (white) included in the right frame R.
  • the evaluation unit 11 includes the number of pixels with a luminance value 0 (black) and the luminance value 1 (white) in the left frame L, and the number of pixels with a luminance value 0 (black) and the luminance value 1 in the right frame R ( The number of white pixels is output to the imaging availability determination unit 12 as the evaluation result of the imaging state.
  • the evaluation unit 11 compares the number of pixels with the luminance value 1 (white) in the left frame L and the number of pixels with the luminance value 1 (white) in the right frame R. Since it is considered that the frame with the larger value is brighter and is less likely to be blocked by the dirt 100, the evaluation unit 11 determines the direction of the frame with the larger value as the moving direction of the in-vehicle camera 2. In the case of FIG. 3D, since the ratio of the luminance value 1 (white) is larger in the right frame R than in the left frame L, the moving direction of the in-vehicle camera 2 is “right”.
  • the imaging availability determination unit 12 determines whether imaging can be continued based on the evaluation result of the evaluation unit 11. For example, when the ratio of the number of pixels with a luminance value of 0 (black) to the total number of pixels in the left frame L exceeds a preset threshold (for example, 90%), or the total number of pixels in the right frame R If the ratio of the number of pixels having a luminance value of 0 (black) in the area exceeds the threshold, it is determined that the field of view of the in-vehicle camera 2 is blocked by the dirt 100, and it is determined that imaging is not possible (that is, driving support is not possible) .
  • a preset threshold for example, 90%
  • the evaluation unit 11 determines that imaging is possible (that is, driving support is possible).
  • the ratio of the luminance value 0 (black) of the right frame R is 90% or less, but the ratio of the luminance value 0 (black) of the left frame L exceeds 90%. , “Imaging is impossible”.
  • the drive control unit 14 outputs a drive signal for driving the drive unit 22 of the in-vehicle camera 2 based on the camera moving direction determined by the evaluation unit 11 when the image pickup possibility determination unit 12 determines that the image pickup is impossible.
  • the motor 23 in the drive unit 22 rotates in the direction opposite to the moving direction.
  • the pinion gear 24 also rotates, and the in-vehicle camera 2 slides in the right direction. As a result, the field of view of the in-vehicle camera 2 is not blocked by the dirt 100.
  • 3F shows an image 103 captured by the in-vehicle camera 2 in the state of FIG. Since the image 103 does not include the dirt 100, if the vehicle-mounted camera control device 1 evaluates the image 103 and determines whether or not imaging is possible, it is possible to return from a failure state where driving assistance is not possible to a state where driving assistance is possible.
  • the binarized image is divided into left and right parts because the in-vehicle camera 2 moves in the horizontal direction.
  • the binarized image may be divided into two parts in the vertical direction to determine whether the movement direction is up or down.
  • FIG. 5 is a flowchart showing an example of the operation of the in-vehicle camera control device 1 according to the first embodiment.
  • the evaluation unit 11 acquires vehicle information from the vehicle.
  • the vehicle information includes an ON / OFF signal of an ignition switch (IGN) of the vehicle, speed information, and the like.
  • IGN ignition switch
  • step ST ⁇ b> 2 the evaluation unit 11 acquires a captured image from the in-vehicle camera 2.
  • the evaluation unit 11 performs binarization processing on the acquired captured image.
  • step ST4 the evaluation unit 11 divides the binarized captured image into two frames in the vertical direction with reference to the image center point, and sets a left frame L and a right frame R.
  • step ST ⁇ b> 5 the evaluation unit 11 compares the luminance values of the left frame L and the right frame R to determine the moving direction of the in-vehicle camera 2.
  • step ST ⁇ b> 6 the imaging availability determination unit 12 determines whether imaging can be continued (that is, driving support availability) based on the luminance values of the left frame L and the right frame R.
  • the driving support unit 13 interrupts driving support.
  • the drive control unit 14 generates a drive signal based on the moving direction determined by the evaluation unit 11 in step ST5, outputs the drive signal to the drive unit 22, and returns to the process of step ST2.
  • the drive unit 22 moves the camera body 21 according to the drive signal.
  • the distance which the vehicle-mounted camera 2 moves may be preset distances, such as a 4 cm space
  • the vehicle-mounted camera 2 moves by a preset distance, and can move to a position where the dirt on the window glass is not imaged.
  • the time interval for repeating the process may be constant or may be changed according to the traveling speed of the vehicle.
  • the drive control unit 14 uses the travel speed included in the vehicle information acquired by the evaluation unit 11, shortens the time interval for repeating the process when the travel speed is high, and lengthens the time interval when the travel speed is slow. To do. When the traveling speed is high, the need for driving assistance increases.
  • the in-vehicle camera 2 immediately moves to a position where the field of view can be secured.
  • the traveling speed is low, the need for driving assistance is low, so a time interval as short as when the vehicle speed is high is not necessary.
  • step ST6 “YES” When the determination result of the imaging availability determination unit 12 is that imaging is possible (step ST6 “YES”), there is no movement of the in-vehicle camera 2 (step ST8), and in the following step ST9, the driving support unit 13 continues driving support.
  • step ST10 the evaluation unit 11 determines whether IGN is OFF based on the vehicle signal acquired in step ST1.
  • the evaluation unit 11 ends the series of processes, and when it is ON (step ST10 “NO”), the evaluation unit 11 returns to the process of step ST1.
  • the vehicle-mounted camera control device 1 moves the vehicle-mounted camera 2 to a position where imaging can be performed (that is, driving support is possible), and the process ends. You can start driving assistance immediately.
  • the in-vehicle camera control device 1 continues imaging based on the evaluation unit 11 that evaluates the imaging state using the image captured by the in-vehicle camera 2 and the evaluation result by the evaluation unit 11.
  • the driving control outputs the driving signal to the driving unit 22 of the in-vehicle camera 2 to move the in-vehicle camera 2.
  • the configuration includes the unit 14.
  • the in-vehicle camera 2 can be moved to a position where a normal image can be captured when the deterioration of the imaging environment cannot be resolved even if a wiper or the like is operated. Therefore, when driving assistance is performed based on camera sensing, it is possible to quickly return from a failure state due to deterioration of the imaging environment to a normal driving assistance state.
  • the imaging availability determination unit 12 has the luminance value 0 (black) in the total number of pixels of the left frame L or the right frame R, which is the evaluation value of the imaging state evaluated by the evaluation unit 11. ) And the threshold value set in advance are compared to determine whether or not to continue imaging. Accordingly, it can be accurately determined that the field of view of the in-vehicle camera 2 is blocked by dirt attached to the window glass.
  • the vehicle-mounted camera control device 1 and the vehicle-mounted camera 2 are connected by wire, but may be connected wirelessly.
  • FIG. 6 shows a configuration example in which the in-vehicle camera control device 1 and the in-vehicle camera 2 are wirelessly connected.
  • wireless I / F units 15 and 26 serving as wireless communication interfaces are added to the vehicle-mounted camera control device 1 and the vehicle-mounted camera 2, and a captured image and a drive signal are transmitted and received between them. .
  • one in-vehicle camera 2 is used, but two or more in-vehicle cameras may be used.
  • the evaluation unit 11 evaluates the imaging state of each of the in-vehicle cameras 2 using each of the images captured by the plurality of in-vehicle cameras 2.
  • the imaging availability determination unit 12 determines whether imaging of each in-vehicle camera 2 can be continued based on the evaluation result by the evaluation unit 11.
  • the drive control unit 14 outputs a drive signal toward the drive unit 22 of the in-vehicle camera 2 that is determined to be uncapable of imaging by the imaging possibility determination unit 12. Thereby, each of the plurality of in-vehicle cameras 2 can be moved to a position where a normal image can be captured.
  • Embodiment 2 FIG. In the first embodiment, the timing for moving the in-vehicle camera 2 is not limited. However, in the second embodiment, the movement timing is limited. In the first embodiment, the angle remains the same even when the vehicle-mounted camera 2 is moved. In the second embodiment, the angle is also changed.
  • the in-vehicle camera control device 1 and the in-vehicle camera 2 according to the second embodiment have the same configuration as the in-vehicle camera control device 1 in FIG. 1 and the in-vehicle camera 2 in FIG. Is used.
  • FIG. 7 is a diagram showing a reference position of the in-vehicle camera 2
  • FIG. 8 is a diagram showing a movement of the in-vehicle camera 2 while the vehicle is stopped.
  • the reference position of the in-vehicle camera 2 is set to a position where an image capable of normally performing driving assistance can be taken or a position that does not obstruct the driver's field of view.
  • the center of the upper portion of the windshield 3 is optimal, and this is set as the reference position A.
  • the vehicle-mounted camera 2 when the vehicle-mounted camera 2 is not at the reference position A when the vehicle stops, the vehicle-mounted camera 2 returns to the reference position A.
  • FIG. 9 shows a configuration example of the in-vehicle camera 2 used in the second embodiment.
  • a broken line is an imaging region (field of view) of the camera body 21.
  • the same or corresponding parts as those in FIGS. 1 and 2 are denoted by the same reference numerals, and description thereof is omitted.
  • a motor 27 is added to the in-vehicle camera 2 of the second embodiment in order to change the angle of the camera body 21.
  • the drive unit 22 drives the motor 27 in accordance with the drive signal transmitted from the drive control unit 14 of the in-vehicle camera control device 1
  • the in-vehicle camera 2 rotates (shakes) as shown in FIG.
  • the motor 27 rotates the camera body 21 to change the angle so that the imaging area of the camera body 21 faces the imaging area before the movement, and the difference between the imaging areas before and after the movement is reduced. be able to.
  • FIG. 11 is a flowchart showing an example of the operation of the in-vehicle camera control device 1 according to the second embodiment. Note that steps ST1 to ST10 in FIG. 11 are the same processes as steps ST1 to ST10 in FIG.
  • step ST ⁇ b> 6 the imaging availability determination unit 12 determines whether imaging can be continued (that is, driving support availability) based on the luminance values of the left frame L and the right frame R.
  • the drive control unit 14 When the determination result of the imaging availability determination unit 12 is that imaging is impossible (step ST6 “NO”), the drive control unit 14 generates a drive signal based on the moving direction determined by the evaluation unit 11 and outputs the drive signal to the drive unit 22 ( Step ST7). Further, after the camera body 21 moves, the drive control unit 14 generates a drive signal for changing the angle of the camera body 21 so that the imaging direction of the camera body 21 faces the same direction as before the movement, and sends the drive signal to the drive unit 22. Output (step ST11), the process returns to step ST2.
  • the drive unit 22 drives the motor 23 according to the drive signal to rotate the camera body 21.
  • the drive control unit 14 determines whether the vehicle is stopped and whether the in-vehicle camera 2 is at the reference position A (Ste ST12). Based on the speed information acquired by the evaluation unit 11 in step ST1, the drive control unit 14 determines that the vehicle is stopped if the speed is 0 km / h, and determines that the vehicle is not stopped otherwise. To do. In addition, the drive control unit 14 has the coordinate value of the reference position A as a database, so that the drive control unit 14 compares the coordinate when the vehicle-mounted camera 2 is moved. Determine whether it is A or not.
  • a switch is installed at the reference position A so that when the in-vehicle camera 2 is at the reference position A, the switch is pressed, and when the in-vehicle camera 2 leaves the reference position A, the switch protrudes.
  • step ST12 “YES” When it is determined that the vehicle is stopped and the in-vehicle camera 2 is other than the reference position A (step ST12 “YES”), the drive control unit 14 generates a drive signal for returning the in-vehicle camera 2 to the reference position A. It outputs to the drive part 22 (step ST13), and returns to the process of step ST1.
  • the drive unit 22 drives the motor 23 according to the drive signal and moves the camera body 21 to the reference position A.
  • step ST12 “NO”) the process proceeds to steps ST8 to ST10. If the vehicle-mounted camera 2 returns to the reference position A and no dirt or the like appears in the image captured at the reference position A, the reference position A is maintained as it is, so that an image can be captured at the optimum position.
  • the drive control unit 14 is configured to move the in-vehicle camera 2 to a preset reference position when the vehicle stops, the in-vehicle camera 2 is moved to a position suitable for imaging. Can be moved. Even if the in-vehicle camera 2 is far away from the reference position, the return to the reference position is limited to when the vehicle is stopped, so that the driver's driving operation is not hindered.
  • the imaging availability determination unit 12 compares the evaluation value of the imaging state evaluated using the image captured at the reference position with a preset threshold value, and the evaluation value is If it is less than the threshold, it is determined that imaging is possible at the reference position. Thereby, if there is no dirt or the like at the reference position, a position suitable for imaging can be maintained. Therefore, an image optimal for driving support can be provided to the driving support system.
  • the drive control unit 14 outputs a drive signal for changing the angle of the in-vehicle camera 2 so that the imaging direction of the in-vehicle camera 2 after movement faces the imaging direction before the movement. It was configured to output towards Thereby, the influence of the movement of the vehicle-mounted camera 2 can be suppressed.
  • FIG. 12A shows an installation image of the in-vehicle camera 2.
  • the drive unit 22 of the in-vehicle camera 2 includes a vacuum pump and a wheel (not shown).
  • the gap between the in-vehicle camera 2 and the windshield 3 is closed with a sealing member, and the drive unit 22 drives the vacuum pump to generate a suction force so that the in-vehicle camera 2 is brought into contact with the window glass.
  • the vehicle-mounted camera 2 can move to an arbitrary direction by sticking to the inner surface of the windshield 3.
  • the in-vehicle camera 2 and the in-vehicle camera control device 1 perform transmission / reception of a captured image and a drive signal using, for example, wireless communication as illustrated in FIG.
  • the in-vehicle camera 2 of the third embodiment can be moved anywhere on the window glass, but in the case of the windshield 3, it is desirable to limit the movement to a position that hinders the driver's view.
  • the driver's view area of the windshield 3 is set as the camera movement prohibited area B, and the remaining area is set as the camera movement area C.
  • the drive control unit 14 generates a drive signal for the drive unit 22 in accordance with the movement direction determined by the evaluation unit 11. At this time, the drive control unit 14 avoids the camera movement prohibition area B and moves the vehicle-mounted camera 2.
  • the driving support unit 13 performs automatic driving control instead of driving support, the driver does not drive, so there is no problem even if the in-vehicle camera 2 blocks the driver's view. Therefore, it is not necessary to limit the moving area of the in-vehicle camera 2 and any number of in-vehicle cameras 2 may be placed on the windshield 3.
  • FIG. 13 shows a configuration example of the in-vehicle camera control device 1 when a stereo camera is used.
  • the in-vehicle camera 2 and the in-vehicle camera 5 constitute a stereo camera.
  • the in-vehicle camera 5 has the same configuration as the in-vehicle camera 2 and includes a camera body 51 and a drive unit 52.
  • FIG. 14 is a diagram for explaining a method of moving the in-vehicle cameras 2 and 5 constituting the stereo camera.
  • FIG. 14 shows a state in which the in-vehicle cameras 2 and 5 are movably installed on the window glass, and the detailed structure of the drive unit 22 and the like is not shown. If the distance between the in-vehicle camera 2 and the in-vehicle camera 5 is too short, it will not function as a stereo camera, so at least the distance D must be maintained.
  • the imaging environments of the in-vehicle cameras 2 and 5 are good, and there is no dirt 100 or the like on the window glass.
  • FIG. 14B it is assumed that the imaging environment of the in-vehicle camera 2 is deteriorated and the imaging availability determination unit 12 determines that imaging is impossible. Since there is dirt 100 on the left side of the in-vehicle camera 2, according to the method of the first embodiment, the evaluation unit 11 determines that the moving direction of the in-vehicle camera 2 is “right”, and the drive control unit 14 moves the in-vehicle camera 2 to the right side. Move.
  • the drive control unit 14 corrects the moving direction of the in-vehicle camera 2 to “left” as illustrated in FIG. 14C in order to continue camera sensing of the stereo camera.
  • the drive control unit 14 determines that imaging is possible as well as the in-vehicle camera 2 that is determined to be incapable of imaging.
  • the in-vehicle camera 5 may also be moved together.
  • FIG. 15 is a flowchart showing an example of the operation of the in-vehicle camera control device 1 according to the fourth embodiment. Note that steps ST1 to ST6 and ST8 to ST10 in FIG. 15 are the same processes as steps ST1 to ST6 and ST8 to ST10 in FIG. 5, but for each of the captured image of the in-vehicle camera 2 and the captured image of the in-vehicle camera 5. Processing is performed.
  • the drive control unit 14 determines the moving direction in which the evaluation unit 11 determines the in-vehicle camera that cannot be imaged. It is determined whether or not the relative positional relationship (that is, the distance D in FIG. 14) is maintained when moved to (step ST21).
  • step ST21 “YES”) the drive control unit 14 generates a drive signal based on the moving direction determined by the evaluation unit 11, and outputs the drive signal to at least one of the drive units 22 and 52. Then (step ST23), the process returns to step ST2.
  • step ST21 “YES” the drive control unit 14 generates a drive signal based on the moving direction determined by the evaluation unit 11, and outputs the drive signal to at least one of the drive units 22 and 52. Then (step ST23), the process returns to step ST2.
  • a drive signal is input, the drive units 22 and 52 move the camera main bodies 21 and 51 according to the signal.
  • step ST21 “NO”) the drive control unit 14 corrects the moving direction determined by the evaluating unit 11 to a moving direction in which the relative position as a stereo camera is held (step). ST22), a drive signal is generated and output to at least one of the drive units 22 and 52 (step ST23).
  • a correction method there is the method described with reference to FIGS. 14C and 14D.
  • the drive control unit 14 is configured to output a drive signal toward the drive units 22 and 52 that move the stereo camera configured by the two in-vehicle cameras 2 and 5. .
  • the drive control unit 14 is configured to move in a state where the relative positional relationship between the two in-vehicle cameras 2 and 5 is maintained as shown in FIG.
  • the in-vehicle cameras 2 and 5 can be moved to a position at which a normal image can be captured without impairing the function as.
  • the drive control unit 14 is determined to be uncapable of imaging as shown in FIG. You may make it the structure which moves a vehicle-mounted camera to the direction away from the other vehicle-mounted camera. Even in this case, similarly to the above, the in-vehicle cameras 2 and 5 can be moved to a position where a normal image can be captured without impairing the function as a stereo camera.
  • the in-vehicle camera control device moves the in-vehicle camera to a position where it can be normally imaged even when the field of view of the in-vehicle camera is blocked by dirt on the windshield and the dirt cannot be removed with a wiper or the like, It is suitable for use in a driving support system that performs driving support or automatic driving control based on camera sensing.
  • SYMBOLS 1 1 vehicle-mounted camera control apparatus, 2, 5 vehicle-mounted camera, 3 windshield, 4 body frame, 11 evaluation part, 12 imaging availability judgment part, 13 driving support part, 14 drive control part, 15 wireless I / F part, 21, 51 Camera body, 22, 52 drive unit, 23 motor, 24 pinion gear, 25 rack gear, 26 wireless I / F unit, 27 motor.

Abstract

　車載カメラ制御装置１は、車載カメラ２により撮像された画像を用いて撮像状態を評価する評価部１１と、評価部１１による評価結果に基づいて撮像継続の可否を判断する撮像可否判断部１２と、撮像可否判断部１２により撮像不可と判断された場合、車載カメラ２の駆動部２２に向けて駆動信号を出力して車載カメラ２を移動させる駆動制御部１４とを備える。これにより、ワイパ等を作動させても撮像環境の悪化を解消できない場合に、正常な画像を撮像できる位置まで車載カメラ２を移動させることができる。

Description

車載カメラ制御装置
　この発明は、車載カメラを制御する車載カメラ制御装置に関するものである。
　従来、車室内に設置されて窓ガラス越しに車外の景色を撮像する車載カメラを用いた車外監視装置がある。特許文献１の車外監視装置では、撮像した画像が正常な場合とぼけが生じている場合とで輝度分布特性が異なることを利用して、画像ぼけを判定し、画像ぼけが生じている場合に監視制御を一時的に中断させるフェールセーフ機能を働かせていた。
特開２００１－２８７４６号公報
　上記特許文献１の車外監視装置において、画像ぼけが窓ガラスの汚れまたは曇り等による撮像環境の悪化に起因している場合、ワイパまたはデフロスタを作動させることにより撮像環境の悪化を解消することが開示されている。正常な画像が再び得られるようになれば、フェール状態から正常な監視状態へ復帰できる。
　しかしながら、ワイパまたはデフロスタを作動させても撮像環境の悪化を解消することができない場合、フェール状態から正常な監視状態へ復帰できないという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、ワイパ等を作動させても撮像環境の悪化を解消できない場合であっても正常な画像を撮像可能にすることを目的とする。
　この発明に係る車載カメラ制御装置は、車内に移動可能に設置されて窓ガラス越しに車外の景色を撮像する車載カメラを制御するものであって、車載カメラにより撮像された画像を用いて撮像状態を評価する評価部と、評価部による評価結果に基づいて撮像継続の可否を判断する撮像可否判断部と、撮像可否判断部により撮像不可と判断された場合、車載カメラの駆動部に向けて駆動信号を出力して車載カメラを移動させる駆動制御部とを備えるものである。
　この発明によれば、撮像不可と判断した場合に車載カメラを移動させるようにしたので、ワイパ等を作動させても撮像環境の悪化を解消できない場合に、正常な画像を撮像できる位置まで車載カメラを移動させることができる。
この発明の実施の形態１に係る車載カメラ制御装置を用いた運転支援システムの構成を示すブロック図である。 実施の形態１で用いる車載カメラの車両設置例を示す図である。 実施の形態１に係る車載カメラ制御装置が行う処理の一例を示す概要図である。 実施の形態１に係る車載カメラ制御装置で用いる輝度閾値の一例を示す図である。 実施の形態１に係る車載カメラ制御装置の動作の一例を示したフローチャートである。 実施の形態１に係る車載カメラ制御装置を用いた運転支援システムの変形例を示すブロック図である。 この発明の実施の形態２に用いる車載カメラの基準位置を示す図である。 実施の形態２に用いる車載カメラの車両停止中の移動の様子を示す図である。 実施の形態２で用いる車載カメラの構成例を示す図である。 実施の形態２で用いる車載カメラの角度の変移例を示す図である。 実施の形態２に係る車載カメラ制御装置の動作の一例を示したフローチャートである。 この発明の実施の形態３に用いる車載カメラの設置イメージを示す図である。 この発明の実施の形態４に係る車載カメラ制御装置を用いた運転支援システムの構成例を示すブロック図である。 実施の形態４で用いるステレオカメラの移動方法を説明する図である。 実施の形態４に係る車載カメラ制御装置の動作の一例を示したフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１に示すように、実施の形態１に係る車載カメラ制御装置１は、車内に移動可能に設置されて窓ガラス越しに車外の景色を撮像する車載カメラ２を制御する車載装置である。実施の形態１では、車載カメラ制御装置１と車載カメラ２で運転支援システムを構成する場合を例に用いて、車載カメラ制御装置１を説明する。
　車載カメラ制御装置１は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）等により構成され、内部メモリに格納されたプログラムを実行することによって評価部１１、撮像可否判断部１２、運転支援部１３、および駆動制御部１４としての機能を実現する。
　車載カメラ２は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の撮像素子を内蔵したカメラ本体２１と、モータ等により構成される駆動部２２とを含む。
　窓ガラスに汚れ等が付着していると、車載カメラ２の視野が汚れに遮られてしまい、撮像画像に汚れが写り込み、車外の景色が写っていないことがある。そこで、評価部１１は、「撮像状態」として撮像画像に汚れが写り込んでいるか否かを評価する。
　評価部１１は、カメラ本体２１から撮像画像を取得し、輝度値に基づいて撮像状態を評価し、評価結果に基づいてカメラ本体２１の移動方向を決定する。評価部１１は、撮像状態の評価結果と、カメラ移動情報を撮像可否判断部１２へ出力する。
　撮像可否判断部１２は、評価部１１による評価結果に基づいて、撮像画像に汚れが写り込んでいなければ撮像を継続可能、撮像画像に汚れが写り込んでいると撮像を継続不可能と判断する。撮像可否判断部１２は、撮像継続の可否の判断結果を運転支援部１３へ出力する。また、撮像可否判断部１２は、撮像不可の場合、撮像可能な位置へ車載カメラ２を移動させるために、評価部１１が決定したカメラ移動情報を駆動制御部１４へ出力する。
　運転支援部１３は、撮像可否判断部１２が撮像可と判断した場合、撮像画像を用いて正常に運転支援できるとみなし、カメラ本体２１からの撮像画像に基づいて運転支援に関する情報を生成してヘッドアップディスプレイ（ＨＵＤ）、スロットル制御機器、およびブレーキ制御機器等へ出力する。一方、撮像可否判断部１２が撮像不可と判断した場合、運転支援部１３は正常な運転支援ができないとみなし、運転支援情報を生成も出力もしない（フェール状態）。
　例えば、運転支援部１３は、撮像画像から障害物または人を検出したときに、ＨＵＤに注意喚起のメッセージを表示させるための運転支援情報を生成したり、撮像画像上の障害物等を強調表示した運転支援情報を生成したりする。
　また例えば、運転支援部１３は、車両前方の撮像画像から先行車両を検出し、追従走行（オートクルーズ）を実施するためにスロットルおよびブレーキを制御する運転支援情報を生成する。
　なお、撮像画像は、オートクルーズ等の運転支援に限らず、自動運転制御などの用途に用いてもよい。
　駆動制御部１４は、撮像可否判断部１２から通知されるカメラ移動情報に従って、駆動部２２を駆動するための駆動信号を生成し、駆動部２２へ出力する。駆動信号には、カメラ本体２１を移動する方向および移動する距離等の情報が含まれる。
　駆動部２２は、駆動制御部１４から受信した駆動信号を基に、カメラ本体２１を移動させる。
　カメラ本体２１は、窓ガラス越しに車外を撮像し、撮像画像を車載カメラ制御装置１へ出力する。
　ここで、図２に車載カメラ２の車両設置例を示す。図２は、車内からフロントガラス３を見た図である。
　図２に示すように、一例として車体フレーム４の上部にラックギア２５が設置され、カメラ本体２１がラックギア２５に沿って左右水平方向に移動できるようになっている。駆動部２２には、動力としてモータ２３、および動力の伝達手段としてラックギア２５と噛み合うピニオンギア２４が備わっている。駆動信号によりモータ２３がピニオンギア２４を回転させると、ピニオンギア２４が回転する向きと逆方向にカメラ本体２１が移動する。
　なお、図２の例では、車載カメラ２をフロントガラス３に設置して車両前方を撮像する構成にしたが、これに限定されるものではなく、車載カメラ２を車両側面または後面の窓ガラスに設置して車両側方または後方を撮像する構成にしても構わない。
　また、１つの窓ガラスに車載カメラ２を複数台設置したり、複数の窓ガラスそれぞれに車載カメラ２を設置したりしても構わない。
　また、車載カメラ２を左右水平方向に移動させる構成にしたが、移動方向はこれに限定されるものではなく、上下鉛直方向に移動させる構成等にしても構わない。
　図３は、車載カメラ制御装置１が行う処理の一例を示す概要図である。
　図３（ａ）では、フロントガラス３に付着した汚れ１００により、車載カメラ２の撮像が妨げられている状態を示している。図３（ｂ）は、図３（ａ）の状態で車載カメラ２が撮像した画像１０１を示している。画像１０１の左部分に汚れ１００が写りこんでしまい、車両前方の景色が撮像されていない。
　ここで、評価部１１は、撮像された画像１０１に対して二値化処理を行い、画像１０１の各画素の輝度値を、輝度閾値に基づいて０（黒）、１（白）のどちらかに振り分ける。
　図４に、輝度閾値の一例を示す。図４（ａ）～図４（ｃ）のヒストグラムにおいて、横軸は輝度値（０～２５５）、縦軸は累積画素数である。図４の例では、評価部１１は、時刻に応じて異なる輝度閾値ｔを選択する。
　評価部１１は、日中、図４（ｂ）のように二値化した結果の画像における白：黒の画素の割合が５：５になる輝度閾値ｔを決定する。
　夜間は、日中に比べて周囲が暗いので撮像画像の輝度値が低くなることを考慮して、評価部１１は、図４（ａ）のように二値化した結果の画像における白：黒の画素の割合が３：７になる輝度閾値ｔを決定する。
　早朝は周囲が薄暗いので、撮像画像の輝度値が日中よりは低く、夜間よりは高くなることを考慮して、評価部１１は、図４（ｃ）のように二値化した結果の画像における白：黒の画素の割合が４：６になる輝度閾値ｔを決定する。
　なお、図４の例は一例であり、輝度閾値ｔの決定方法はこれに限定されるものではない。
　例えば、輝度値ヒストグラムが２つの山（クラス）を持つような形状になった場合には、評価部１１は、谷が輝度閾値になるように、判別識別法を用いてクラス間分散が最大になる輝度閾値ｔを算出してもよい。
　また、評価部１１は、二値化する前に平滑化フィルタを用いて撮像画像のノイズを滑らかにしてもよい。
　図３（ｃ）は、画像１０１を輝度閾値ｔに基づいて二値化した結果の画像１０２である。評価部１１は、結果の画像１０２を、画像中心点から縦方向に引かれた点線Ｍを基準にして、左のフレームＬと右のフレームＲの２つのフレームに分ける。
　次に、評価部１１は、図３（ｄ）に示すように、左のフレームＬに含まれる輝度値０（黒）の画素数と、輝度値１（白）の画素数を算出する。同様に、評価部１１は、右のフレームＲに含まれる輝度値０（黒）の画素数と、輝度値１（白）の画素数も算出する。
　評価部１１は、左のフレームＬの輝度値０（黒）の画素数と輝度値１（白）の画素数、および右のフレームＲの輝度値０（黒）の画素数と輝度値１（白）の画素数を、撮像状態の評価結果として撮像可否判断部１２へ出力する。
　また、評価部１１は、左のフレームＬの輝度値１（白）の画素数と、右のフレームＲの輝度値１（白）の画素数を比較する。値の大きかったほうのフレームが明るく、汚れ１００によって遮られている割合が少ないと考えられるため、評価部１１は、値が大きかったほうのフレームの方向を車載カメラ２の移動方向として決定する。
　図３（ｄ）の場合、左のフレームＬより右のフレームＲの方が輝度値１（白）の割合が大きいので、車載カメラ２の移動方向は「右」になる。
　撮像可否判断部１２は、評価部１１の評価結果に基づき撮像継続の可否を判断する。例えば、左のフレームＬの全画素数に占める輝度値０（黒）の画素数の割合が予め設定された閾値（例えば、９０％）を超えていた場合、または右のフレームＲの全画素数に占める輝度値０（黒）の画素数の割合が閾値を超えていた場合、車載カメラ２の視野が汚れ１００によって遮られていると判断し、撮像不可（つまり、運転支援不可）と判断する。反対に、左のフレームＬ、右のフレームＲの両方とも画素の割合が閾値以下だった場合、評価部１１は撮像可（つまり、運転支援可）と判断する。
　図３（ｄ）の場合、右のフレームＲの輝度値０（黒）の割合は９０％以下であるが、左のフレームＬの輝度値０（黒）の割合が９０％を超えているので、「撮像不可」になる。
　駆動制御部１４は、撮像可否判断部１２が撮像不可と判断した場合に、評価部１１が決定したカメラ移動方向に基づいて、車載カメラ２の駆動部２２を駆動する駆動信号を出力する。
　図３（ｄ）の場合、撮像不可、かつ、車載カメラ２の移動方向が右であるため、図３（ｅ）に示すように駆動部２２内のモータ２３が移動方向と逆回転することで、ピニオンギア２４も回転し、車載カメラ２は右方向にスライド移動する。その結果、汚れ１００により車載カメラ２の視野が遮られていない状態となる。図３（ｆ）は、図３（ｅ）の状態で車載カメラ２が撮像した画像１０３を示している。画像１０３には汚れ１００が含まれていないので、車載カメラ制御装置１がこの画像１０３を評価し撮像可否を判断すれば、運転支援不可のフェール状態から運転支援可の状態に復帰できる。
　図３の例では、車載カメラ２が左右水平方向に移動する前提のため、二値化した画像を左右に二分割した。車載カメラ２が上下鉛直方向に移動する前提の場合、二値化した画像を上下に二分割して、移動方向が上か下か決定すればよい。
　図５は、実施の形態１に係る車載カメラ制御装置１の動作の一例を示したフローチャートである。
　ステップＳＴ１において、評価部１１は、車両から車両情報を取得する。
　車両情報とは、車両のイグニッションスイッチ（ＩＧＮ）のＯＮ／ＯＦＦ信号、および速度情報等である。
　ステップＳＴ２において、評価部１１は、車載カメラ２から撮像画像を取得する。
　ステップＳＴ３において、評価部１１は、取得した撮像画像に二値化処理を実行する。
　ステップＳＴ４において、評価部１１は、二値化した撮像画像を、画像中心点を基準として縦方向に２つのフレームに分割し、左のフレームＬと右のフレームＲを設定する。
　ステップＳＴ５において、評価部１１は、左のフレームＬと右のフレームＲの輝度値を比較して、車載カメラ２の移動方向を決定する。
　ステップＳＴ６において、撮像可否判断部１２は、左のフレームＬと右のフレームＲの輝度値に基づいて撮像継続の可否（つまり、運転支援可否）を判断する。
　撮像可否判断部１２の判断結果が撮像不可の場合（ステップＳＴ６“ＮＯ”）、運転支援部１３は運転支援を中断する。続くステップＳＴ７において、駆動制御部１４は、ステップＳＴ５で評価部１１が決定した移動方向に基づいて駆動信号を生成し、駆動部２２へ出力し、ステップＳＴ２の処理へ戻る。駆動部２２は、駆動信号に従ってカメラ本体２１を移動する。
　なお、車載カメラ２が移動する距離は、例えば４ｃｍ間隔など、予め設定された距離でよい。撮像可になるまでステップＳＴ２～ＳＴ７を繰り返すことにより、車載カメラ２が予め設定された距離ずつ移動していき、窓ガラスの汚れを撮像しない位置まで移動することができる。
　また処理を繰り返す時間間隔は、一定でもよいし、車両の走行速度に応じて変化させてもよい。具体的には、駆動制御部１４が、評価部１１で取得した車両情報に含まれる走行速度を用い、走行速度が速いときには処理を繰り返す時間間隔を短くし、走行速度が遅いときには時間間隔を長くする。走行速度が速いときは運転支援の必要性が増すため、カメラセンシングが継続不可能になった場合に即座に車載カメラ２が視野を確保できる位置に移動することが好ましい。一方、走行速度が遅いときは運転支援の必要性が低いので、車両速度が速いとき程の短い時間間隔は必要ない。
　撮像可否判断部１２の判断結果が撮像可の場合（ステップＳＴ６“ＹＥＳ”）、車載カメラ２の移動はなく（ステップＳＴ８）、続くステップＳＴ９において、運転支援部１３が運転支援を継続する。
　ステップＳＴ１０において、評価部１１は、ステップＳＴ１で取得した車両信号に基づいてＩＧＮがＯＦＦかどうかを判定する。評価部１１は、ＩＧＮがＯＦＦの場合（ステップＳＴ１０“ＹＥＳ”）、一連の処理を終了させ、ＯＮの場合（ステップＳＴ１０“ＮＯ”）、ステップＳＴ１の処理に戻る。
　これにより、ＩＧＮがＯＦＦになった場合、車載カメラ制御装置１が車載カメラ２を撮像可（つまり、運転支援可）の位置まで移動させて処理を終了することになるので、次回ＩＧＮがＯＮになったときにすぐに運転支援を開始できる。
　以上より、実施の形態１によれば、車載カメラ制御装置１は、車載カメラ２により撮像された画像を用いて撮像状態を評価する評価部１１と、評価部１１による評価結果に基づいて撮像継続の可否を判断する撮像可否判断部１２と、撮像可否判断部１２により撮像不可と判断された場合、車載カメラ２の駆動部２２に向けて駆動信号を出力して車載カメラ２を移動させる駆動制御部１４とを備える構成にした。これにより、ワイパ等を作動させても撮像環境の悪化を解消できない場合に、正常な画像を撮像できる位置まで車載カメラ２を移動させることができる。従って、カメラセンシングに基づき運転支援を行う場合に、撮像環境悪化によるフェール状態から正常な運転支援状態へすばやく復帰することが可能である。
　また、実施の形態１によれば、撮像可否判断部１２は、評価部１１が評価した撮像状態の評価値である左のフレームＬまたは右のフレームＲの全画素数に占める輝度値０（黒）の画素数の割合と予め設定された閾値とを比較し、撮像継続の可否を判断する構成にした。これにより、窓ガラスに付着した汚れによって車載カメラ２の視野が遮られていることを正確に判定できる。
　なお、実施の形態１では、車載カメラ制御装置１と車載カメラ２を有線接続したが、無線接続しても構わない。
　図６に、車載カメラ制御装置１と車載カメラ２を無線接続した構成例を示す。図６の構成例では、車載カメラ制御装置１と車載カメラ２のそれぞれに無線通信のインタフェースとなる無線Ｉ／Ｆ部１５，２６が追加され、両者の間で撮像画像および駆動信号が送受信される。
　また、実施の形態１では、車載カメラ２を１台使用したが、２台以上使用しても構わない。その場合、評価部１１は、複数台の車載カメラ２により撮像された画像それぞれを用いて、車載カメラ２それぞれの撮像状態を評価する。撮像可否判断部１２は、評価部１１による評価結果に基づいて車載カメラ２それぞれの撮像継続の可否を判断する。駆動制御部１４は、撮像可否判断部１２により撮像不可と判断された車載カメラ２の駆動部２２に向けて駆動信号を出力する。これにより、複数台の車載カメラ２のそれぞれを、正常な画像を撮像できる位置まで移動させることができる。
実施の形態２．
　上記実施の形態１では、車載カメラ２を移動するタイミングを制限していなかったが、本実施の形態２では、移動タイミングを制限する。
　また、上記実施の形態１では、車載カメラ２を移動しても角度はそのままであったが、本実施の形態２では、角度も変更する。
　実施の形態２に係る車載カメラ制御装置１および車載カメラ２は、図面上は図１の車載カメラ制御装置１および図２の車載カメラ２と同様の構成であるため、以下では図１および図２を援用する。
　図７は車載カメラ２の基準位置を示す図であり、図８は車載カメラ２の車両停止中の移動の様子を示す図である。運転支援を正常に行うことができる画像を撮像可能な位置、または運転者の視界を妨げない位置が、車載カメラ２の基準位置に設定されている。図７においてはフロントガラス３の上部の中央が最適であるため、そこを基準位置Ａとする。図８に示すように、車両が停止したときに車載カメラ２が基準位置Ａに無い場合、車載カメラ２は基準位置Ａに戻る。
　図９に、実施の形態２で用いる車載カメラ２の構成例を示す。破線は、カメラ本体２１の撮像領域（視野）である。なお、図９において、図１および図２と同一または相当の部分については同一の符号を付し説明を省略する。
　実施の形態２の車載カメラ２には、カメラ本体２１の角度を変更するために、モータ２７が追加されている。駆動部２２が、車載カメラ制御装置１の駆動制御部１４から送信された駆動信号に従って、モータ２７を駆動することにより、図１０に示すように車載カメラ２が回転（首振り）する。カメラ本体２１がスライド移動した後に、モータ２７がカメラ本体２１を回転させ角度を変えることで、カメラ本体２１の撮像領域が移動前の撮像領域に向き、移動前後での撮像領域の差を少なくすることができる。
　図１１は、実施の形態２に係る車載カメラ制御装置１の動作の一例を示したフローチャートである。なお、図１１のステップＳＴ１～ＳＴ１０は、図５のステップＳＴ１～ＳＴ１０と同一の処理であるため、説明を省略する。
　ステップＳＴ６において、撮像可否判断部１２は、左のフレームＬと右のフレームＲの輝度値に基づいて撮像継続の可否（つまり、運転支援可否）を判断する。
　撮像可否判断部１２の判断結果が撮像不可の場合（ステップＳＴ６“ＮＯ”）、駆動制御部１４は評価部１１が決定した移動方向に基づいて駆動信号を生成し、駆動部２２へ出力する（ステップＳＴ７）。また、駆動制御部１４は、カメラ本体２１が移動した後、カメラ本体２１の撮像方向が移動前と同じ方向を向くようにカメラ本体２１の角度を変更する駆動信号を生成して駆動部２２へ出力し（ステップＳＴ１１）、ステップＳＴ２の処理へ戻る。駆動部２２は、駆動信号に従ってモータ２３を駆動し、カメラ本体２１を回転させる。
　撮像可否判断部１２の判断結果が撮像可の場合（ステップＳＴ６“ＹＥＳ”）、駆動制御部１４は、車両が停止中かどうか、および車載カメラ２が基準位置Ａにいるかどうかの判定を行う（ステップＳＴ１２）。
　駆動制御部１４は、評価部１１がステップＳＴ１で取得した速度情報に基づいて、速度が０ｋｍ／ｈであれば車両が停止していると判定し、それ以外のときは停止していないと判定する。
　また、駆動制御部１４は、基準位置Ａの座標値をデータベースとして持っておくことで、駆動制御部１４が車載カメラ２を移動させたときの座標と比較し、そのとき車載カメラ２が基準位置Ａかどうかを判定する。
　なおここで、基準位置Ａにスイッチを設置して、車載カメラ２が基準位置Ａにあるときはスイッチが押下され、車載カメラ２が基準位置Ａを離れたときはスイッチが突出するようにする。このように、ハードウエアの観点からも車載カメラ２が基準位置Ａにあるかどうかを判定可能にしてもよい。
　駆動制御部１４は、車両が停止中、かつ、車載カメラ２が基準位置Ａ以外にいると判定した場合（ステップＳＴ１２“ＹＥＳ”）、車載カメラ２を基準位置Ａに戻す駆動信号を生成して駆動部２２へ出力し（ステップＳＴ１３）、ステップＳＴ１の処理へ戻る。駆動部２２は、駆動信号に従ってモータ２３を駆動し、カメラ本体２１を基準位置Ａへ移動させる。
　駆動制御部１４は、車両が停止中でないと判定した場合、または車載カメラ２が基準位置Ａにいると判定した場合（ステップＳＴ１２“ＮＯ”）、ステップＳＴ８～ＳＴ１０の処理へ進む。
　車載カメラ２が基準位置Ａに戻り、かつ、基準位置Ａで撮像された画像に汚れ等が写り込んでいなければ、そのまま基準位置Ａが維持されるので、最適な位置で撮像できる。
　以上より、実施の形態２によれば、駆動制御部１４は、車両が停止した場合に車載カメラ２を予め設定された基準位置へ移動させる構成にしたので、撮像に適した位置へ車載カメラ２を移動させることができる。また、車載カメラ２が基準位置から遠く離れた位置にあっても、基準位置へ戻るのは車両の停止中に限るので、運転者の運転操作の妨げにならない。
　また、実施の形態２によれば、撮像可否判断部１２は、基準位置で撮像された画像を用いて評価された撮像状態の評価値と予め設定された閾値とを比較し、当該評価値が閾値未満なら基準位置で撮像可と判断する構成にした。これにより、基準位置に汚れ等がなければ、撮像に適した位置を維持できる。よって、運転支援システムに、運転支援に最適な画像を提供できる。
　また、実施の形態２によれば、駆動制御部１４は、移動後の車載カメラ２の撮像方向が移動前の撮像方向を向くように、車載カメラ２の角度を変移させる駆動信号を駆動部２２に向けて出力する構成にした。これにより、車載カメラ２の移動の影響を抑制できる。
実施の形態３．
　実施の形態３では窓ガラス上に当接した状態で移動する車載カメラを用いる。図１２（ａ）に、車載カメラ２の設置イメージを示す。車載カメラ２の駆動部２２は、図示しない真空ポンプとホイールを備える。車載カメラ２とフロントガラス３との隙間をシール部材で塞ぎ、駆動部２２が、真空ポンプを駆動して吸引力を発生させて車載カメラ２を窓ガラス上に当接させた状態で、ホイールを回転駆動して窓ガラス上を移動する。これにより、車載カメラ２は、フロントガラス３の車内側の面に吸い付いて任意の方向に移動できる。この車載カメラ２と車載カメラ制御装置１は、例えば図６に示したような無線通信を用いて、撮像画像および駆動信号の送受信を行う。
　実施の形態３の車載カメラ２は、窓ガラス上をどこへでも移動可能であるが、フロントガラス３の場合には運転者の視界を妨げる位置への移動を制限することが望ましい。例えば、図１２（ｂ）に示すように、フロントガラス３のうちの運転者の視界領域がカメラ移動禁止領域Ｂ、残りの領域がカメラ移動領域Ｃに設定されている。駆動制御部１４は、評価部１１が決定した移動方向に従って駆動部２２の駆動信号を生成するが、その際、カメラ移動禁止領域Ｂを避けて車載カメラ２を移動させるようにする。
　他方、運転支援部１３が運転支援ではなく自動運転制御を実施する場合には、運転者は運転操作しないので、車載カメラ２が運転者の視界を遮っても問題ない。従って、車載カメラ２の移動領域を制限する必要がない上、車載カメラ２をフロントガラス３に何台置いても構わない。
実施の形態４．
　実施の形態４では、ステレオカメラを用いる。図１３に、ステレオカメラを用いる場合の車載カメラ制御装置１の構成例を示す。車載カメラ２と車載カメラ５とでステレオカメラが構成される。車載カメラ５は、車載カメラ２と同様の構成であり、カメラ本体５１と駆動部５２とを備える。
　図１４は、ステレオカメラを構成する車載カメラ２，５の移動方法を説明する図である。図１４は、窓ガラスの上に車載カメラ２，５が移動可能に設置されている状態を示し、駆動部２２などの詳細な構造は図示を省略してある。車載カメラ２と車載カメラ５の間隔が短すぎるとステレオカメラとして機能しなくなるため、少なくとも距離Ｄを保持する必要がある。
　図１４（ａ）のとき、車載カメラ２，５のそれぞれの撮像環境は良好であり、窓ガラスに汚れ１００等はない。
　図１４（ｂ）のときは車載カメラ２の撮像環境が悪化し、撮像可否判断部１２において撮像不可と判定されたと仮定する。車載カメラ２の左側に汚れ１００があるので、実施の形態１の方法に従えば評価部１１が車載カメラ２の移動方向を「右」と決定し、駆動制御部１４が車載カメラ２を右側へ移動させる。
　しかし、車載カメラ２を右へ移動させると、車載カメラ５との距離Ｄを保持できない。そのため、駆動制御部１４は、ステレオカメラのカメラセンシングを継続するべく、図１４（ｃ）のように車載カメラ２の移動方向を「左」に修正する。
　または、図１４（ｄ）のように、車載カメラ２と車載カメラ５の距離Ｄを保持すべく、駆動制御部１４は、撮像不可と判定された車載カメラ２だけでなく、撮像可と判定された車載カメラ５も一緒に移動させてもよい。
　図１５は、実施の形態４に係る車載カメラ制御装置１の動作の一例を示したフローチャートである。なお、図１５のステップＳＴ１～ＳＴ６，ＳＴ８～ＳＴ１０は、図５のステップＳＴ１～ＳＴ６，ＳＴ８～ＳＴ１０と同一の処理であるが、車載カメラ２の撮像画像と車載カメラ５の撮像画像のそれぞれについて処理が実施される。
　撮像可否判断部１２において車載カメラ２，５の少なくとも一方が撮像不可と判断された場合（ステップＳＴ６“ＮＯ”）、駆動制御部１４は、撮像不可の車載カメラを評価部１１が決定した移動方向に移動させたときに相対位置関係（つまり、図１４の距離Ｄ）が保持されているか判定する（ステップＳＴ２１）。
　相対位置関係が保持されている場合（ステップＳＴ２１“ＹＥＳ”）、駆動制御部１４は、評価部１１が決定した移動方向に基づいて駆動信号を生成し、駆動部２２，５２の少なくとも一方へ出力し（ステップＳＴ２３）、ステップＳＴ２の処理へ戻る。駆動部２２，５２は、駆動信号が入力されるとその信号に従ってカメラ本体２１，５１を移動させる。
　相対位置関係が保持されていない場合（ステップＳＴ２１“ＮＯ”）、駆動制御部１４は、評価部１１が決定した移動方向を、ステレオカメラとしての相対位置が保持される移動方向に修正し（ステップＳＴ２２）、駆動信号を生成して駆動部２２，５２の少なくとも一方へ出力する（ステップＳＴ２３）。修正の方法としては、図１４（ｃ）と図１４（ｄ）で説明した方法がある。
　以上より、実施の形態４によれば、駆動制御部１４は、２台の車載カメラ２，５により構成されたステレオカメラを移動させる駆動部２２，５２に向けて駆動信号を出力する構成にした。これにより、ステレオカメラを用いるシステムにおいて、ワイパ等を作動させても撮像環境の悪化を解消できない場合に、正常な画像を撮像できる位置まで車載カメラ２，５を移動させることができる。
　また、実施の形態４によれば、駆動制御部１４は、図１４（ｄ）のように２台の車載カメラ２，５の相対位置関係を保持した状態で移動させる構成にしたので、ステレオカメラとしての機能を損なわずに、正常な画像を撮像できる位置まで車載カメラ２，５を移動させることができる。
　あるいは、撮像可否判断部１２により２台の車載カメラ２，５のうちの一方が撮像不可と判断された場合に、駆動制御部１４が、図１４（ｃ）のように撮像不可と判断された車載カメラをもう一方の車載カメラから離れる方向へ移動させる構成にしてもよい。この場合でも、上記同様に、ステレオカメラとしての機能を損なわずに、正常な画像を撮像できる位置まで車載カメラ２，５を移動させることができる。
　なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る車載カメラ制御装置は、フロントガラスの汚れ等で車載カメラの視野が遮られワイパ等でその汚れを除去できない場合でも、正常に撮像できる位置まで車載カメラを移動させるようにしたので、カメラセンシングに基づき運転支援または自動運転制御を行う運転支援システムなどに用いるのに適している。
　１　車載カメラ制御装置、２，５　車載カメラ、３　フロントガラス、４　車体フレーム、１１　評価部、１２　撮像可否判断部、１３　運転支援部、１４　駆動制御部、１５　無線Ｉ／Ｆ部、２１，５１　カメラ本体、２２，５２　駆動部、２３　モータ、２４　ピニオンギア、２５　ラックギア、２６　無線Ｉ／Ｆ部、２７　モータ。

Claims (10)

  1. 　車内に移動可能に設置されて窓ガラス越しに車外の景色を撮像する車載カメラを制御する車載カメラ制御装置であって、
    　前記車載カメラにより撮像された画像を用いて撮像状態を評価する評価部と、
    　前記評価部による評価結果に基づいて撮像継続の可否を判断する撮像可否判断部と、
    　前記撮像可否判断部により撮像不可と判断された場合、前記車載カメラの駆動部に向けて駆動信号を出力して前記車載カメラを移動させる駆動制御部とを備えることを特徴とする車載カメラ制御装置。
  2. 　前記評価部は、前記車外の同一の景色を撮像する複数台の前記車載カメラにより撮像された画像それぞれを用いて、前記車載カメラそれぞれの撮像状態を評価し、
    　前記撮像可否判断部は、前記評価部による評価結果に基づいて前記車載カメラそれぞれの撮像継続の可否を判断し、
    　前記駆動制御部は、前記撮像可否判断部により撮像不可と判断された前記車載カメラを移動させることを特徴とする請求項１記載の車載カメラ制御装置。
  3. 　前記撮像可否判断部は、前記評価部が評価した撮像状態の評価値と予め設定された閾値とを比較し、撮像継続の可否を判断することを特徴とする請求項１記載の車載カメラ制御装置。
  4. 　前記駆動制御部は、車両が停止した場合に前記車載カメラを予め設定された基準位置へ移動させることを特徴とする請求項１記載の車載カメラ制御装置。
  5. 　前記撮像可否判断部は、前記基準位置で撮像された画像を用いて評価された撮像状態の評価値と予め設定された閾値とを比較し、当該評価値が閾値未満なら前記基準位置で撮像可と判断することを特徴とする請求項４記載の車載カメラ制御装置。
  6. 　前記駆動制御部は、移動後の前記車載カメラの撮像方向が移動前の撮像方向を向くように、前記車載カメラの角度を変移させる駆動信号を前記駆動部に向けて出力することを特徴とする請求項１記載の車載カメラ制御装置。
  7. 　前記駆動制御部は、前記車載カメラを前記窓ガラス上に当接させた状態で移動させる前記駆動部に向けて駆動信号を出力することを特徴とする請求項１記載の車載カメラ制御装置。
  8. 　前記駆動制御部は、２台の前記車載カメラにより構成されたステレオカメラを移動させる前記駆動部に向けて駆動信号を出力することを特徴とする請求項１記載の車載カメラ制御装置。
  9. 　前記駆動制御部は、２台の前記車載カメラの相対位置関係を保持した状態で移動させることを特徴とする請求項８記載の車載カメラ制御装置。
  10. 　前記駆動制御部は、前記撮像可否判断部により２台の前記車載カメラのうちの一方が撮像不可と判断された場合に、当該撮像不可と判断された前記車載カメラをもう一方の前記車載カメラから離れる方向へ移動させることを特徴とする請求項８記載の車載カメラ制御装置。
PCT/JP2014/076974 2014-10-08 2014-10-08 車載カメラ制御装置 WO2016056088A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/323,013 US20170136962A1 (en) 2014-10-08 2014-10-08 In-vehicle camera control device
CN201480082550.0A CN106794807B (zh) 2014-10-08 2014-10-08 车载摄像机控制装置
JP2016552755A JP6081034B2 (ja) 2014-10-08 2014-10-08 車載カメラ制御装置
DE112014007047.5T DE112014007047B4 (de) 2014-10-08 2014-10-08 Fahrzeugkamera-Steuervorrichtung
PCT/JP2014/076974 WO2016056088A1 (ja) 2014-10-08 2014-10-08 車載カメラ制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/076974 WO2016056088A1 (ja) 2014-10-08 2014-10-08 車載カメラ制御装置

Publications (1)

Publication Number Publication Date
WO2016056088A1 true WO2016056088A1 (ja) 2016-04-14

Family

ID=55652747

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/076974 WO2016056088A1 (ja) 2014-10-08 2014-10-08 車載カメラ制御装置

Country Status (5)

Country Link
US (1) US20170136962A1 (ja)
JP (1) JP6081034B2 (ja)
CN (1) CN106794807B (ja)
DE (1) DE112014007047B4 (ja)
WO (1) WO2016056088A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019535149A (ja) * 2017-07-07 2019-12-05 トヨタ モーター ヨーロッパ 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム
KR20200129394A (ko) * 2019-05-08 2020-11-18 현대자동차주식회사 차체 판넬 내부에 위치하는 카메라 미러 시스템 구조
CN112164219A (zh) * 2020-09-16 2021-01-01 安徽科杰粮保仓储设备有限公司 一种基于5g技术的移动执法装置及方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017061515A1 (ja) * 2015-10-05 2017-04-13 株式会社小松製作所 建設機械及び施工管理システム
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
DE112018001447T5 (de) * 2017-07-14 2019-12-12 Komatsu Ltd. Topographische informationsübertragungsvorrichtung, bauverwaltungssystem und topographisches informationsübertragungsverfahren
US10735716B2 (en) * 2018-12-04 2020-08-04 Ford Global Technologies, Llc Vehicle sensor calibration
CN110012207B (zh) * 2019-06-05 2019-09-10 清华四川能源互联网研究院 拍摄装置及巡检设备
US11496728B2 (en) 2020-12-15 2022-11-08 Waymo Llc Aperture health monitoring mode

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11139262A (ja) * 1997-11-12 1999-05-25 Fuji Heavy Ind Ltd 車両のウィンドウの視界不良検知装置
JPH11326541A (ja) * 1998-05-21 1999-11-26 Nissan Motor Co Ltd 撮像環境推定装置
WO2001064462A1 (en) * 2000-02-28 2001-09-07 Donnelly Corporation Tire inflation assistance monitoring system
JP2010042703A (ja) * 2008-08-08 2010-02-25 Toyota Motor Corp 車載カメラ

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3312729B2 (ja) * 1999-07-14 2002-08-12 富士重工業株式会社 フェールセーフ機能を有する車外監視装置
CN101981915B (zh) * 2008-03-26 2014-03-05 柯尼卡美能达精密光学株式会社 摄像装置
US9205810B2 (en) * 2010-03-04 2015-12-08 Valeo Schalter Und Sensoren Gmbh Method of fog and raindrop detection on a windscreen and driving assistance device
JP6120395B2 (ja) * 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
DE102012221074A1 (de) * 2012-11-19 2014-05-22 Robert Bosch Gmbh Fahrzeugleuchte
DE102014004172A1 (de) * 2014-03-22 2014-09-18 Daimler Ag Schutzvorrichtung für eine Kamera eines Kraftwagens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11139262A (ja) * 1997-11-12 1999-05-25 Fuji Heavy Ind Ltd 車両のウィンドウの視界不良検知装置
JPH11326541A (ja) * 1998-05-21 1999-11-26 Nissan Motor Co Ltd 撮像環境推定装置
WO2001064462A1 (en) * 2000-02-28 2001-09-07 Donnelly Corporation Tire inflation assistance monitoring system
JP2010042703A (ja) * 2008-08-08 2010-02-25 Toyota Motor Corp 車載カメラ

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019535149A (ja) * 2017-07-07 2019-12-05 トヨタ モーター ヨーロッパ 一連の画像における閉塞の原因を特定する方法、上記方法を行うためのコンピュータプログラム、斯かるコンピュータプログラムを含むコンピュータ読み取り可能な記録媒体、上記方法を実行可能な運転支援システム
KR20200129394A (ko) * 2019-05-08 2020-11-18 현대자동차주식회사 차체 판넬 내부에 위치하는 카메라 미러 시스템 구조
KR102654582B1 (ko) * 2019-05-08 2024-04-03 현대자동차주식회사 차체 판넬 내부에 위치하는 카메라 미러 시스템 구조
CN112164219A (zh) * 2020-09-16 2021-01-01 安徽科杰粮保仓储设备有限公司 一种基于5g技术的移动执法装置及方法
CN112164219B (zh) * 2020-09-16 2023-01-03 安徽科杰粮保仓储设备有限公司 一种基于5g技术的移动执法装置及方法

Also Published As

Publication number Publication date
CN106794807B (zh) 2018-04-17
CN106794807A (zh) 2017-05-31
JPWO2016056088A1 (ja) 2017-04-27
JP6081034B2 (ja) 2017-02-15
DE112014007047T5 (de) 2017-08-10
US20170136962A1 (en) 2017-05-18
DE112014007047B4 (de) 2020-10-29

Similar Documents

Publication Publication Date Title
JP6081034B2 (ja) 車載カメラ制御装置
JP5233583B2 (ja) 車載用監視装置
US10994655B2 (en) Electronic control unit and in-vehicle video system
US10000210B2 (en) Lane recognition apparatus
US9620009B2 (en) Vehicle surroundings monitoring device
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
US20190100156A1 (en) System and method for controlling a display
US20180015879A1 (en) Side-view mirror camera system for vehicle
WO2005075248A1 (ja) 車載用監視装置
US20190193633A1 (en) Viewing device for vehicle
US20200039435A1 (en) Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof
JP5136071B2 (ja) 車両用後方監視装置および車両後方監視方法
US20180126907A1 (en) Camera-based system for reducing reflectivity of a reflective surface
JP5543938B2 (ja) 車外監視装置
EP3166307B1 (en) Capturing device for a motor vehicle, driver assistance system as well as motor vehicle
CN111567028A (zh) 图像处理装置、拍摄系统、移动体、以及图像处理方法
JP6185367B2 (ja) 運転支援装置
KR20110076300A (ko) 차량정보 기반 사각지대 인지용 적응형 멀티모드 뷰 시스템 및 그 제어방법
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
EP2709356B1 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
JP6003396B2 (ja) 撮像装置、車載用監視装置および対象物検知方法
JP6573218B2 (ja) 車両用画像表示装置及び設定方法
JP6922700B2 (ja) 雨滴検出装置及びワイパ制御装置
WO2018130689A1 (en) Method for capturing an environmental region of a motor vehicle with adaptation of a region of interest depending on a trailer, computing device, camera system as well as motor vehicle
JP6565619B2 (ja) 雨滴検出装置、車両ワイパ装置及び雨滴検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14903705

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016552755

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15323013

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112014007047

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14903705

Country of ref document: EP

Kind code of ref document: A1