WO2022137599A1 - ワイパーを具備しない車両 - Google Patents

ワイパーを具備しない車両 Download PDF

Info

Publication number
WO2022137599A1
WO2022137599A1 PCT/JP2021/021305 JP2021021305W WO2022137599A1 WO 2022137599 A1 WO2022137599 A1 WO 2022137599A1 JP 2021021305 W JP2021021305 W JP 2021021305W WO 2022137599 A1 WO2022137599 A1 WO 2022137599A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
optical system
light sensor
sensor
Prior art date
Application number
PCT/JP2021/021305
Other languages
English (en)
French (fr)
Inventor
雄三 安形
秀夫 稲吉
Original Assignee
雄三 安形
秀夫 稲吉
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 雄三 安形, 秀夫 稲吉 filed Critical 雄三 安形
Priority to US17/595,267 priority Critical patent/US20240034237A1/en
Publication of WO2022137599A1 publication Critical patent/WO2022137599A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/10Front-view mirror arrangements; Periscope arrangements, i.e. optical devices using combinations of mirrors, lenses, prisms or the like ; Other mirror arrangements giving a view from above or under the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present invention relates to a vehicle that can be driven and does not have a wiper (passenger car, taxi, truck, dump truck, trailer, etc.), in particular, there is no transparent windshield on the front surface of the vehicle, and the vehicle can be driven while looking at the image captured by the front camera.
  • a wiper passingenger car, taxi, truck, dump truck, trailer, etc.
  • FIG. 1 shows the appearance of a general passenger car (sedan type), in which a transparent windshield 2 is provided in front of the driver's seat 1, and a driver sitting in the driver's seat 1 actually passes through the windshield 2. From the road conditions (landscape) that can be seen, steer the steering wheel to drive a passenger car. At that time, if raindrops or the like adhere to the surface of the windshield 2 due to rain or snow, the front surface becomes difficult to see and the operation is hindered. Therefore, a wiper 3 for wiping the windshield 2 is provided.
  • a wiper 3 for wiping the windshield 2 is provided.
  • FIG. 3 shows a cross-sectional view of the front part of a bus (or truck or trailer), and the driver 20A sitting in the driver's seat 20 looks at the road condition through the front windshield 21 and operates the steering wheel to drive.
  • a wiper 22 is provided on the front surface of the windshield 21 to wipe off raindrops and running water when it rains, snowflakes when it snows, and the like to make it easier to see ahead.
  • Japanese Unexamined Patent Publication No. 2016-71666 Japanese Unexamined Patent Publication No. 2006-1377 Japanese Unexamined Patent Publication No. 2013-242346 Japanese Unexamined Patent Publication No. 2020-131901 Japanese Unexamined Patent Publication No. 2005-286938 Japanese Unexamined Patent Publication No. 2020-175889 Japanese Unexamined Patent Publication No. 2013-32082 Japanese Unexamined Patent Publication No. 2018-184119 U.S. Patent Application Publication No. 2017/0315771 Japanese Unexamined Patent Publication No. 2020-023293 European Patent Application Publication No. 2913228 Japanese Patent Publication No. 2008-504597 Japanese Unexamined Patent Publication No. 2013-247492
  • the conventional vehicle is provided with a transparent windshield on the front surface of the vehicle, and the driver can drive while observing the road condition through the windshield.
  • Even vehicles that are autonomously driven (level 0 to level 5) are provided with windshields. If the windshield is provided, raindrops and snowflakes will adhere to the windshield when it rains or snows, making it difficult to see ahead and hindering driving. Therefore, the vehicle is equipped with a wiper on the front side of the windshield, and the wiper is swept or swiveled to wipe off raindrops, snowflakes, etc. from the windshield surface.
  • the wiper Since the wiper is generally a contact type or mechanical type, maintenance work is laborious and costly, and in the case of heavy rain or heavy snow, even if the sweep speed or turning speed is increased, the wiper wiping effect is fully exhibited. It is the current situation that cannot be done. The same is true for expensive luxury cars. In heavy snowfall areas, the wiper may be damaged or frozen due to the weight of the snowfall.
  • Patent Document 8 Although a non-contact wiper has been proposed (Patent Document 8), it is necessary to install a large-scale device separately, and it cannot be practically adopted.
  • the windshield is transparent, when driving toward a light source such as the sun or a searchlight, the light enters the driver's eyes, making it dazzling and difficult to drive.
  • a light source such as the sun or a searchlight
  • the sun or light is dazzling, it is difficult to see the front even if you wear sunglasses, which may hinder safe driving.
  • nighttime driving there is a problem that the visibility of the front and the surroundings is deteriorated even if the headlights are illuminated.
  • the present invention has been made due to the above-mentioned circumstances, and an object of the present invention is to provide a screen without a wiper that requires maintenance and may not have a sufficient wiping effect, and has the same function as a transparent windshield. It is an object of the present invention to provide a vehicle that can be driven while watching the image projected on the vehicle, can be driven with the same visual vision as in the daytime even at night, and is not equipped with a wiper having a function of enhancing safety and reliability.
  • an image display unit is installed on the front surface of the driver's seat of the vehicle, and an image pickup means for capturing an image of the road condition in front of the vehicle is provided.
  • the image display surface of the image display unit is arranged inside the vehicle.
  • the present invention relates to a vehicle that does not have a wiper so that an image captured by the image pickup means is displayed on the image display surface and is driven or traveled while viewing the image displayed on the image display surface.
  • the image pickup means comprises a first visible light sensor and an infrared light sensor constituting the main optical system, and a second visible light sensor and an infrared light sensor constituting the sub optical system.
  • the image pickup means can be adjusted in the vertical direction, and the height can be adjusted by the operation unit.
  • the image display surface is provided by the image processing means for performing the image composition processing of the main optical system and the sub optical system. This is achieved by displaying the captured image.
  • the above object of the present invention comprises a shielding plate arranged on the front side of the vehicle and a display unit arranged on the front portion of the driver's seat on the passenger compartment side, and the image display unit installed on the front portion of the vehicle and the vehicle. It has a first visible light sensor and an infrared light sensor constituting a main optical system, and a second visible light sensor and an infrared light sensor constituting a sub optical system, which image the road conditions ahead, and described above.
  • the display unit is subjected to image composition processing of image data from the sensor member installed on the shielding plate, the first visible light sensor and the infrared light sensor, and the second visible light sensor and the infrared light sensor.
  • the sensor member includes the first visible light sensor, the infrared light sensor, and the second It has a structure that covers the upper part of the visible light sensor and the infrared light sensor, and is operated or traveled while looking at the captured image displayed on the display unit, and normally operates the main optical system. This is achieved by a vehicle that does not have a wiper that is adapted to switch the main optical system to the sub optical system and operate it when the sensor abnormality detecting unit detects an abnormality in the main optical system.
  • the vehicle according to the present invention is not equipped with a wiper, maintenance work is not required at all, visibility is not obstructed even during heavy rain or heavy snow, and safe driving can be continued at all times day and night.
  • the operation is not performed through the windshield, the light from the sun or a light source is not seen in the eyes, so that the driver can always drive safely.
  • the front surface of the vehicle is a shielding plate that replaces the windshield, the windshield will not be damaged by falling objects and the like, and driving will not be impossible.
  • the viewing angle can be made wider than the driver's actual viewing angle, it can contribute to safer driving and has the advantage of helping to avoid accidents.
  • FIG. 9 is a cross-sectional view taken along the line XX'in FIG.
  • FIG. 9 is a cross-sectional view taken along the line YY'in FIG. It is a block diagram which shows the modification of the mounting table. It is sectional drawing which shows the modification of the mounting table. It is a block diagram which shows the structural example (1st Embodiment) of a control part. It is a flowchart which shows the operation example (1st Embodiment) of this invention. It is a block diagram which shows the structural example (second embodiment) of a control part. It is a flowchart which shows the operation example (second embodiment) of this invention. It is a block block diagram which shows the processing example (1st Example) of an alarm signal. It is a perspective view which shows the installation example of the spare camera for the processing example (2nd Example) of an alarm signal.
  • the vehicle according to the present invention is not provided with a windshield, is not provided with a wiper for wiping the surface of the windshield, and is a road condition imaged by a wide-angle sensor (camera) having a wide field of view (angle of view 180 °) as an image pickup means. (Landscape in front of the vehicle) is projected on the image display device (corresponding to the windshield position), and the driver drives while viewing the displayed image (video).
  • the field of view of the driver can be greatly expanded, and real-time images outside the vehicle can be displayed on the image display device during day and night.
  • safety measures are taken to prevent accidents by issuing an alarm or blinking a hazard lamp to apply an automatic brake when safety is impaired.
  • the automatic steering wheel is activated to prevent collisions and rear-end collisions caused by automatic braking.
  • Redundancy includes parallel redundancy, standby redundancy, majority decision redundancy, etc., and is applied to each in mission-critical fields such as space, transportation, and finance.
  • an abnormality including a failure or malfunction
  • the parallel redundancy method is suitable.
  • the main body, power supply, cable, memory, etc. are duplicated to form a state in which the two systems always perform exactly the same processing.
  • the methods that use these two systems are (1) mutual monitoring method (dual system), (2) replacement method in which an abnormality occurs.
  • the processing results are constantly compared with each other so that the systems can be replaced at any time.
  • video projection systems there is often little need to constantly monitor each other. In this case, when one of them becomes abnormal, it is sufficient to switch to the other system, and the replacement method is simple and cost effective.
  • the main system detects this abnormality, switches to the subsystem at high speed, and continues the operation without interruption. That is, the main system first tries to automatically recover from the abnormality, but if it cannot recover, it switches to the subsystem at high speed, and if an abnormality occurs in the subsystem, it automatically recovers, but if it cannot recover, an alarm is issued.
  • the operation is (stop, etc.).
  • the shared memories of the two systems are provided, an abnormality flag for notifying the occurrence of an abnormality is set in the shared memory, and the values of the abnormality flags are checked with each other.
  • An abnormality is usually detected by an external IC and an interrupt is notified to the CPU (Central Processing Unit).
  • FIG. 4 shows an external example of the vehicle (passenger vehicle) 100 according to the present invention, and although the vehicle body structure itself is the same as the conventional one, it does not have a front glass and instead, an image is displayed on the entire front surface of the vehicle.
  • a unit 110 is provided, and the front surface (shielding plate 112) of the image display unit 110 captures the landscape (road) in front of the vehicle 100 with visible light and infrared light at a wide viewing angle (angle of view 180 °).
  • a wide angle sensor member 120 is provided.
  • the image display unit 110 is a flat rectangular structure having the same size as the conventional windshield, and reinforces the structural strength of the vehicle 100, and the front side (outside of the vehicle) of the image display unit 110 has an aesthetic appearance as a vehicle.
  • the shielding plate 112 is provided, and the passenger compartment side is a display unit 111 made of liquid crystal or the like.
  • the arrangement position of the wide-angle sensor member 120 can be adjusted in height according to the height of the line of sight of the driver sitting in the driver's seat.
  • FIG. 5 shows a view of the front of the driver's seat from the rear direction of the vehicle interior, and the road condition (landscape) imaged by the wide-angle sensor member 120 is projected on the display unit 111 of the image display unit 110 on the front surface. It has been.
  • the road condition is displayed on the display unit 111 when the vehicle 100 is running (when the ignition key is ON), and is displayed even when the vehicle is stopped or stopped when the ignition key is ON. Therefore, the driver can always see the road condition (landscape) in front of the vehicle even when the vehicle is stopped or stopped.
  • FIG. 6 shows an example of a screen displayed on the display unit 111, and the driver 101 steers the steering wheel 102 while watching the image of the display unit 111. Further, the board in front of the driver's seat is provided with a wide-angle sensor position display unit 170, which will be described later. Further, in the example of FIG. 6, the case where the steering wheel 102 is steered is shown, but the same applies to the automatic driving.
  • NHTSA National Highway Traffic Safety Administration
  • SAE Society of Automotive Engineers
  • level 1 driver support
  • level 2 It is classified into partial driving automation (level 2), conditional driving automation (level 3), advanced driving automation (level 4), and fully automated driving (level 5), but it also applies to autonomous driving vehicles of each level. can.
  • FIG. 7 shows a structural example of the relationship between the driver 101 and the image display unit 110 (display unit 111), and FIG. 7A is an example in which the shielding plate 112 and the display unit 111 are separated, and FIG. 7A is an example.
  • (B) shows an example in which the shielding plate 112 and the display unit 111 are integrated. That is, in FIG. 7A, the shielding plate 112 is provided on the front surface of the passenger car to prevent rain or the like from entering the vehicle, the strength of the passenger car is reinforced, and the wide-angle sensor member 120 is provided on the shielding plate 112. This is an example in which the display unit 111 is provided at a separated position inside the vehicle of the shielding plate 112.
  • FIG. 7B is an example in which the integrated image display unit 110 is directly provided on the front surface of the passenger car, and the wide-angle sensor member 120 is provided on the back surface of the image display unit 110, that is, the shielding plate 112 on the front side of the passenger car.
  • the surface of the image display unit 110, that is, the inside of the passenger car is the display unit 111.
  • any configuration may be used, but in the case of the integrated type shown in FIG. 7B, the installation angle of the display unit 111 is large with respect to the line of sight of the driver 101, so it is necessary to correct the perspective by image processing. ..
  • a perspective method is used, in which the center of the screen is set as the vanishing point and the distance is displayed small so as to converge the surroundings.
  • the shielding plate 112 since the shielding plate 112 is arranged in front of the vehicle 100, the surface side (front side) of the shielding plate 112 has a curved shape similar to that of a normal general windshield so as to weaken the air resistance. There is.
  • the display unit 111 of the wide-angle sensor member 120 of the present invention is used when the driver looks forward through a conventional windshield even in normal times, when it rains or snows, and even at night. It has the same visual function or more visual function than the windshield. Therefore, in the present invention, two systems, a visible light wide-angle sensor for visible light and an infrared light wide-angle sensor that is preferable at night, are used. Further, since the operation is performed while viewing the image of the display unit 111 based on the image taken by the wide-angle sensor, the occurrence of an abnormality in the wide-angle sensor system is particularly serious. Therefore, in the present invention, the sensor system and the image processing system are set to two systems including the backup system so as not to impair the safety and reliability, and further safety measures are taken.
  • FIG. 8 shows how the wide-angle sensor member 120 is installed on the shielding plate 112, and shows the structure when the vehicle (shielding plate 112) is viewed from the front of the passenger car 100.
  • the wide-angle sensor member 120 includes a mounting table 126 having an L-shaped cross section, and visible light wide-angle sensors 140-1 and 140-2 having an angle of view of 180 ° and an infrared light wide-angle sensor having an angle of view of 180 ° are provided at the bottom of the mounting table 126. 150-1 and 150-2 are installed.
  • the visible light wide-angle sensor 140-1 and the infrared light wide-angle sensor 150-1 form the main sensor optical system, and the visible light wide-angle sensor 140-2 and the infrared light wide-angle sensor 150-2 form a backup sub-sensor optical system. is doing.
  • the planar arrangement of these sensors is not limited to the arrangement example shown in FIG. 8, and can be appropriately changed.
  • the visible light wide-angle sensors 140-1 and 140-2 and the infrared light wide-angle sensors 150-1 and 150-2 are used by the driver. It is movable in the vertical direction via the guide grooves 121 and 122 so as to be arranged so as to match the line-of-sight position. As a result, it is possible to obtain a captured image that matches the position of the driver's line of sight.
  • the installation position of the wide-angle sensor member 120 differs depending on the left-hand drive specification vehicle and the right-hand drive specification vehicle.
  • FIG. 8 shows the mounting position in the case of the right-hand drive specification vehicle, but the same applies to the left-hand drive specification vehicle. Can be applied to.
  • FIG. 9 shows the details of the wide-angle sensor member 120 in a plan view
  • FIG. 10 is a cross-sectional structure of XX ′ of FIG. 9
  • FIG. 11 is a cross-sectional structure of YY ′ of FIG.
  • a pair of wheels 121A, 121B and 122A, 122B, respectively, are provided in the elongated guide grooves 121 and 122 formed in the vertical direction at the left and right ends of the shielding plate 112.
  • a belt 123-1 is wound around the wheels 121A and 121B, and a belt 123-2 is wound around the wheels 122A and 122B.
  • a rotation conversion unit 124 made of a worm gear or the like is connected to the output shaft of the fixed drive motor 125, and rotation shafts 124-1 and 124-2 are extended on both sides of the rotation conversion unit 124, and the rotation shaft 124-
  • the wheel 121A is connected to No. 1, and the wheel 122A is connected to the rotating shaft 124-2. Therefore, by rotationally driving the drive motor 125, the wheels 121A and 122A can be rotated via the rotation conversion unit 124, the rotation shafts 124-1 and 124-2.
  • the bottom of the mounting table 126 having an L-shaped cross section is fixed to the upper surfaces of the belts 123-1 and 123-2, and the mounting table 126 also moves (moves up and down) according to the movement of the belts 123-1 and 123-2. do.
  • Visible light wide-angle sensors 140-1 and 140-2 are installed at the bottom of the mounting table 126, and infrared light wide-angle sensors 150-1 and 150-2 are installed, so that the mounting table 126 can be moved.
  • the visible light wide-angle sensors 140-1 and 140-2 and the infrared light wide-angle sensors 150-1 and 150-2 can also be moved to adjust the height of the sensors. By adjusting the height, the front of the vehicle can be imaged at the position of the driver's line of sight.
  • the protrusion 123-1A is attached to the lower surface of the belt 123-1 (or 123-2 or both), and the stopper portions 121-1 and 121- are attached to the bottom surface of the corresponding guide groove 121 (or 122 or both). 2 is projected.
  • the vertical movement range of the wide-angle sensor member 120 is limited. Therefore, the mounting table 126 does not collide with the wall portions of the guide grooves 121 and 122 of the shielding plate 112 and are not damaged.
  • a wall member 126A is erected and a wall is provided so that rain or snow does not adhere to the front surface of the wide-angle sensors 140-1, 140-2 and 150-1 and 150-2.
  • a downwardly bent eaves 126B is provided at the tip of the member 126A to cover the wide-angle sensors 140-1, 140-2 and 150-1, 150-2. That is, as shown in detail in FIG. 11, a wall member 126A having a height of L1 is vertically suspended at one end of the bottom of the mounting table 126, and an eaves portion 126B having an inclination angle ⁇ and a length L2 is provided from the tip of the wall member 126A. It is provided.
  • the height L1 of the wall member 126A, the inclination angle ⁇ and the length L2 of the eaves portion 126B can be changed as appropriate, and rain or snow adheres to the front surfaces of the wide-angle sensors 140-1, 140-2 and 150-1, 150-2.
  • the dimensions are preset so that they do not occur.
  • the structure may be buried from the surface.
  • both sides of the bottom of the mounting table 126 have a penetrating structure, which is shown in FIGS. 12 and 13 as a protective measure against the adhesion of rain and snow from the lateral direction with respect to the traveling direction of the vehicle 100.
  • a structure may be provided in which triangular protective walls 126C-1 and 126C-2 are provided on both sides of the bottom.
  • FIG. 14 shows a configuration example (first embodiment) of the control unit 200 of the present invention, and is provided with a CPU (including an MCU (Micro Controller Unit), an MPU (Micro Processor Unit), etc.) 210 that performs overall control.
  • the CPU 210 is connected to a ROM 212 that stores programs and data, and a RAM 211 that is a video memory that stores data, information, and the like and is used for image processing.
  • the video data SS1 and SS2 from the visible light wide-angle sensor 140-2 and the infrared light wide-angle sensor 150-2, which are captured and become the sub-sensor optical system, are digitally converted by the A / D conversion units 203 and 204, respectively, and are controlled by the control unit. It is taken in by 200.
  • the brightness signal LS from the brightness sensor 130 is digitally converted by the A / D conversion unit 205 and taken into the control unit 200.
  • the brightness sensor 130 can use a sensor for automatically turning on / off the headlight, and the A / D conversion units 201 to 205 may be built in the chips of each sensor. In this case, Each digitally converted video data is taken into the control unit 200.
  • the CPU 210 includes an image composition processing unit 220 that synthesizes visible light video data and infrared light video data to perform necessary image processing, and a brightness that adjusts the brightness of the image display according to the external brightness.
  • a switching unit 250 that switches to the sub-sensor optical system when the main sensor optical system becomes abnormal
  • a sensor abnormality detection unit 260 that detects an abnormality (including failure or malfunction) of the sensor optical system, and the basics of voltage, etc.
  • the operation signal PS from the operation unit 160 operated by the driver is also input to the control unit 200, and the image composition processing unit 220 generates an RGB image, adjusts the brightness, adjusts the white balance, adjusts the sharpness, adjusts the contrast, and adjusts the image. Overlay and emphasize specific parts.
  • Infrared rays are reflected by infrared light (single color), so they are monochromatic as they are, so processing such as coloring (RGB) is required to obtain a good image.
  • RGB coloring
  • the image composition processing unit 220 is composed of a GDC (Graphics Display Controller) that executes image processing in cooperation with the CPU 210.
  • the GDC is composed of, for example, a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), an ASIC (Application Specific Integrated Circuit), and the like.
  • control unit 200 is connected to an in-vehicle network such as CAN (Controller Area Network), and includes LIN (Local Interconnect Network), FlexRay (registered trademark), Ethernet (registered trademark), MOST (Media Oriented Systems Transport), and the like. It is built using at least one of the standards.
  • wireless connection wireless LAN (IEEE802, 11a / b / g), Bluetooth (registered trademark), infrared rays (IrDA), UWB (Ultra Wide Band), etc. can be used.
  • the control unit 200 shares data and information (for example, vehicle speed, engine speed, temperature, etc.) of the vehicle-mounted network.
  • the wide-angle sensor position display unit 170 provided on the board in front of the driver's seat is viewed to determine whether or not the height position of the wide-angle sensor member 120 is suitable for oneself (step S10). ). If the wide-angle sensor position does not suit oneself, the drive motor 125 is driven via the drive control unit 240 according to an instruction from the operation unit 160, and the height of the wide-angle sensor position is adjusted (step S11). Since the relationship between the actual height of the wide-angle sensor position and the display of the wide-angle sensor position display unit 170 is obtained in advance, the height can be adjusted without actually starting the wide-angle sensor and displaying an image. .. Further, even during operation after the wide-angle sensor is activated, the height can be appropriately adjusted by operating the operation unit 160 at any time.
  • the video data SS1 and SS2 from the visible light wide-angle sensor 140-2 and the infrared light wide-angle sensor 150-2 of the optical system are taken in (step S12), and the initial diagnosis is made to see if there are any abnormalities in basic items such as voltage and current.
  • the video data MS1 and MS2 from the visible light wide-angle sensor 140-1 and the infrared light wide-angle sensor 150-1 of the main sensor optical system are taken in (step S14). ).
  • the image data MS1 and MS2 from the visible light wide-angle sensor 140-1 and the infrared light wide-angle sensor 150-1 of the main sensor optical system are image-combined by the image composition processing unit 220 (step S15), and the brightness signal is transmitted from the brightness sensor 130.
  • the LS is taken in (step S16), the brightness is adjusted by the brightness adjustment unit 280 (step S17), and the image composite processing and the brightness-adjusted image are transmitted to the image display unit 110 (display unit) by the image signal DS via the display control unit 230. 111) (step S16).
  • the image of the display unit 111 is an image captured by the visible light wide-angle sensor 140-1 and the infrared light wide-angle sensor 150-1, and is a landscape in front of the vehicle (road conditions), and the driver sees this image. While driving the passenger car (step S20).
  • the sensor abnormality detection unit 260 constantly detects whether or not the sensor unit is abnormal (step S21), and if it is normal, it returns, and if an abnormality is detected, it is a switching unit.
  • the main sensor optical system is switched to the sub sensor optical system via 250 (step S22).
  • the video data SS1 and SS2 from the visible light wide-angle sensor 140-2 and the infrared light wide-angle sensor 150-2 of the sub-sensor optical system are captured (step S23), and the video data SS1 and SS2 from the sensor are image-synthesized.
  • Image composition processing is performed by unit 220 (step S15), and the above operation is repeated thereafter.
  • the height of the sensor position can be adjusted at any time by operating the operation unit 160. Further, the brightness of the image of the display unit 111 can also be adjusted by the operation unit 160. Further, even if the main sensor optical system is not abnormal, if raindrops or the like adhere to the sensor surface and the image becomes difficult to see, the operation unit 160 switches the main sensor optical system to the sub sensor optical system. You can also continue driving.
  • HUD head-up display
  • a moving body such as a passenger car.
  • a windshield windshield
  • the reflected light is applied to the driver's eyes.
  • This allows the driver to see a virtual image of the image in front of the windshield.
  • the vehicle speed, the outside air temperature, and the like are displayed as virtual images, but it is also possible to irradiate the display unit 111 of the present invention with a virtual image of the head-up display.
  • the display unit 111 may be a liquid crystal display, but when displaying a virtual image of a head-up display, an OLED (Organic Light Emitting Diodes), DMD (Digital Micro mirror Device), LCOS (Liquid Crystal On Silicon), etc. It may be one using a display device.
  • OLED Organic Light Emitting Diodes
  • DMD Digital Micro mirror Device
  • LCOS Liquid Crystal On Silicon
  • the video signal DS from the display control unit 230 can be directly recorded in the video memory (recorder), which has the function of a drive recorder.
  • a general drive recorder has an image pickup camera mounted on the indoor side of the windshield, writes the camera image to an SD card via a video memory, saves it, and then reads it out to obtain an image, so there is no real-time performance. ..
  • the image pickup camera is installed in a position that does not obstruct the driver's field of view, that is, in a position that the windshield wiper cannot reach, so in case of rain or snow, the front in front of the image pickup camera.
  • the RAM 211 may be used as the video memory (recorder).
  • FIG. 16 shows another configuration example (second embodiment) of the control unit of the present invention, which is further enhanced in safety and reliability.
  • the main control unit 200M of the main sensor optical system, the sub control unit 200S of the sub sensor optical system, and the overall control unit 300 that controls the whole are configured, and the image is displayed on the image display unit 110. Is projected, and the drive motor 125 is driven to adjust the height position of the wide-angle sensor.
  • the control units 200M and 200S have the same configuration, although the video data from the wide-angle sensor and the signals and data to be output are different. That is, the video data MS1 and MS2 from the visible light wide-angle sensor 140-1 and the infrared light wide-angle sensor 150-1 are input to the main control unit 200M, and the video signal DSM and the drive signal DMM are transmitted from the main control unit 200M.
  • the video data SS1 and SS2 from the visible light wide-angle sensor 140-2 and the infrared light wide-angle sensor 150-2 are input to the sub-control unit 200S, and the video signal DSS and the drive signal DMS are input from the sub-control unit 200S. Is output.
  • the brightness signal LS from the brightness sensor 130 is input to the main control unit 200M and the sub control unit 200S.
  • the brightness sensor 130 is set to one, but two may be provided for the main and sub.
  • the main control unit 200M will be described, but the operation configuration of the sub control unit 200S is also the same.
  • the main control unit 200M includes a CPU (MCU, MPU, etc.) 210M that controls the entire system, and the CPU 210M includes a ROM 212M that stores programs and data, and a RAM 211M that stores data and information and is used for image processing. Is connected.
  • the video data MS1 and MS2 from the visible light wide-angle sensor 140-1 and the infrared light wide-angle sensor 150-1, which are the main sensor optical systems, are digitally converted and captured by the A / D converters 201M and 202M, respectively, and have brightness.
  • the brightness signal LS from the sensor 130 is taken in via the A / D conversion unit 205M.
  • the CPU 210M has an image compositing processing unit 220M that synthesizes visible light video data MS1 and infrared light video data MS2 to perform necessary image processing, and displays the image compositing processed image on the image display unit 110.
  • the display control unit 230M that outputs the video signal DSM
  • the drive control unit 240M that outputs the drive signal DMM that drives and controls the drive motor 125
  • the sensor abnormality that detects an abnormality (including failure or malfunction) in the main sensor optical system.
  • the detection unit 260M and the initial diagnosis unit 270M that performs initial diagnosis of basic items such as voltage and current are connected to each other.
  • the image composition processing unit 220M also generates an RGB image, adjusts the brightness, adjusts the white balance, adjusts the sharpness, adjusts the contrast, superimposes the images, and emphasizes a specific portion.
  • the overall control unit 300 including the CPU 301 is interconnected with the control units 200M and 200S, has a RAM 302 and a ROM 303, and detects a switching control unit 304 that switches between the switching units 310 and 311 and an overall system abnormality. It is equipped with an abnormality detection unit 305.
  • the wide-angle sensor position display unit 170 provided on the board in front of the driver's seat is viewed to determine whether or not the wide-angle sensor position is suitable for oneself (step S30). ). If the position of the wide-angle sensor does not suit oneself, the drive motor 125 is driven via the drive control unit 240M according to an instruction from the operation unit 160, and the height position of the wide-angle sensor is adjusted (step S31). In this case, in the initial state, the switching unit 311 is a drive signal DMM from the drive control unit 240M of the main control unit 200M by the switching control unit 304.
  • the overall control unit 300 causes the main control unit 200M to use the visible light wide-angle sensor 140-1 and the infrared light wide-angle sensor 150-1 of the main sensor optical system.
  • the video data MS1 and MS2 from the above are taken in (step S32), and the initial diagnosis unit 270M performs an initial diagnosis as to whether or not there is an abnormality in basic items such as voltage and current (step S33).
  • the sub-control unit 200S captures the video data SS1 and SS2 from the visible light wide-angle sensor 140-2 and the infrared light wide-angle sensor 150-2 of the sub-sensor optical system by the overall control unit 300 ( Similarly, in step S44), the initial diagnosis unit 270S performs an initial diagnosis as to whether or not there is an abnormality in basic items such as voltage and current (step S35).
  • the overall control unit 300 causes the main control unit 200M to display the image data MS1 and MS2 from the visible light wide-angle sensor 140-1 and the infrared light wide-angle sensor 150-1 of the main sensor optical system. Capture (step S40), image composition processing of video data MS1 and MS2 by image composition processing unit 220M (step S41), brightness adjustment by brightness adjustment unit 280M (step S41A), and video signal DSM from display control unit 230M. It outputs and displays an image on the image display unit 110 (display unit 111) via the switching unit 310 (step S42). The driver drives the passenger car while watching this image (step S43).
  • the sensor abnormality detection unit 260M detects whether or not the sensor unit and the main control unit 200M are abnormal (step S44), and if normal, determines whether or not the operation is continuous (step S45). If the determination is continued, the process returns to step S41, and if the determination is not continued, the process is stopped (ignition key OFF).
  • step S44 the image data from the visible light wide-angle sensor 140-2 and the infrared light wide-angle sensor 150-2 of the sub-sensor optical system is determined by the switching control unit 304 of the overall control unit 300.
  • the SS1 and SS2 are taken into the sub control unit 200S (step S50), the video data SS1 and SS2 are combined by the image composition processing unit 220S (step S51), the brightness adjustment is performed by the brightness adjustment unit 280S (step S51A), and the display is performed.
  • the control unit 230S outputs the video signal DSS.
  • the switching control unit 304 switches the switching unit 310 from the main control unit 200M to the sub control unit 200S (step S52), and displays an image on the image display unit 110 (display unit 111) via the switching unit 310 by the video signal DSS. (Step S53).
  • the driver drives the passenger car while watching this image (step S54).
  • the sensor abnormality detection unit 260S constantly detects whether or not an abnormality has occurred in the sensor unit and the sub-control unit 200S (step S55), and if normal, returns to the above step S50 and the above. Repeat the operation.
  • the sensor abnormality detection unit 260S detects the occurrence of an abnormality
  • the alarm signal AR is output from the abnormality detection unit 305 of the overall control unit 300 (step S60). Also, when the abnormality detection unit 305 detects an abnormality in the system, the alarm signal AR is output.
  • the video signal DS from the switching unit 310 can be directly recorded in the video memory (recorder), which has the function of a drive recorder.
  • a general drive recorder is as described above, but in the present embodiment, the video signal DS to be displayed on the image display unit 110 via the switching unit 310 is recorded in the video memory (recorder) as it is while being imaged by the image pickup means. Since it can be used, it has the advantage of being real-time and always providing a clear image.
  • RAM 302 (or RAM 211M, 211S) may be used as the video memory (recorder).
  • the operation unit 160 can switch to the sub-sensor optical system and the sub-control system.
  • step S60 in the state where the alarm signal AR is output in step S60, it is conceivable that the image is not displayed on the image display unit 110, and in the present invention, the following measures are taken for the safety of the vehicle.
  • FIG. 18 shows the first embodiment, in which the alarm signal AR is input to the lamp blinking unit 180-1, the hazard lamp 180-2 is blinked, and the alarm signal AR is input to the brake operating unit 180-3. ,
  • the brake 180-4 is gradually applied. If the vehicle stops suddenly, there is a risk of being hit by a vehicle behind it, so apply the brakes gradually. As a result, the vehicle automatically and gradually stops while alerting the surroundings by blinking the hazard lamp 180-2. Of course, the driver may apply the brakes.
  • a spare camera 181-1 is installed in the front portion of the vehicle, and as shown in FIG. 20, a small image display unit 181-1 is installed at an appropriate position in the vehicle interior. back. That is, a small and simple image pickup means is prepared in advance.
  • the image pickup signal from the spare camera 181-1 is processed by the general image processing unit 181-2, and when the alarm signal AR is input, the image is displayed on the image display unit 183-1 in the vehicle interior.
  • the spare camera 181-1 may be capable of capturing the landscape in front of the vehicle, and the image display unit 181-1 may also be capable of displaying the landscape in front of the vehicle and has a function that allows the driver to see the front of the vehicle. good.
  • FIG. 21 shows a configuration example of the second embodiment.
  • the image processing unit 181-2 is not operating, and the image is not displayed on the image display unit 183-1.
  • the power is automatically turned on, the image pickup signal from the spare camera 181-1 is processed by the image processing unit 181-2, and the image, that is, the vehicle is displayed on the image display unit 183-1.
  • the scenery ahead is projected. Therefore, the driver can move the vehicle to a safe stop position while looking at the image of the image display unit 181-3.
  • the dual system of FIG. 16 may be a triple system, but in this case, the camera system also requires three systems. Further, the first to third embodiments may be combined as appropriate.
  • the optical fiber is effective when sending an analog optical image and when sending light itself.
  • CMOS Complementary MOS
  • CCD Charge-Coupled Device
  • this method has low image accuracy and is not suitable for the present invention.
  • the A / D converter is often manufactured by the same technique as the sensor, but in the case of a CCD sensor, it is a separate chip.
  • an optical fiber is required when the irradiation light installed somewhere is guided to the side of the sensor, is emitted from the side of the sensor through a lens, and the reflected light is captured as an image by the sensor.
  • the irradiation light In the case of visible light, headlights and sunlight are the irradiation light, so even if it is used, it is only auxiliary light, but it is essential for infrared light sensors because it artificially creates infrared light, and it is red. It is necessary to install infrared irradiation light next to the external light wide-angle sensors 150-1 and 150-2.
  • This infrared irradiation light is made of infrared LEDs, and 10 to 20 are often installed around the sensor in surveillance cameras, etc., but the infrared light wide-angle sensors 150-1 and 150-2 are around this. It needs to be a sensor with an infrared LED. Since LEDs require a large current, a method of arranging them near the dashboard and sending power to the LEDs with copper wires, or arranging a power supply and LEDs near the dashboard and transmitting infrared rays to the side of the sensor via optical fiber. There is.
  • the vehicle of the present invention may be provided with a wireless communication unit and may perform wireless communication with an external data center, roadside unit, other vehicle, or the like.
  • a wireless communication unit may perform wireless communication with an external data center, roadside unit, other vehicle, or the like.
  • mobile phone network cellular network
  • wireless LAN wireless LAN
  • ETC Electronic Toll Collection System
  • DSRC Dedicated Short Range Communications
  • V2I Vehicle-to-Infrastructure
  • V2V Vehicle-to-Vehicle
  • V2V Vehicle-to-Vehicle
  • the sensor system is formed by the visible light wide-angle sensor and the infrared light wide-angle sensor in the above-described embodiment, only the visible light wide-angle sensor may be used. Further, in the above-described embodiment, the wide-angle sensor member is movable up and down to adjust the height, but it may be installed in a fixed place as shown in FIG. 22, for example.
  • the captured image captured by the wide-angle sensor is displayed on the display unit of the image display unit, and the captured image is a front view of the vehicle traveling. It is also possible to detect a dangerous object (for example, a person crossing the front) using the input video signal and notify the driver or the like.
  • a dangerous object for example, a person crossing the front
  • an intelligent video monitoring system is configured by using an intelligent video analysis system capable of analyzing element-by-element elements of a monitored object in a video, and the analysis system is used. The behavior of the monitored object can be monitored using the analysis function.
  • an evaluation means configured to be able to determine an object related to a child from a photographed image, and a vehicle evaluated by the evaluation means for a child.
  • control measures configured to initiate at least one type of collision prevention measure for the vehicle with a person to whom the child-related object belongs, depending on the distance to the object associated with the child.
  • ACTION Automatic Construction of Tree-structural Image Transformations
  • ACTION Automatic Construction of Tree-structural Image Transformations
  • the optical flow method can be adopted to accurately extract moving objects from moving images.
  • roads including highways and farm roads
  • taxis such as taxis, trucks, dump trucks, trailers, buses, wagon cars, SUV cars, and small one- or two-seater vehicles are included.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ワイパーを具備せず、透明なフロントガラスと同様な機能で、画面に映し出された映像を見ながら運転でき、夜間でも昼間と同様な視覚で運転可能であると共に、安全性を高める機能を有したワイパーを具備しない車両を提供する。 【解決手段】車両の運転席前面部に画像表示部が設置されると共に、車両前方の道路状況を撮像する撮像手段が設けられており、画像表示部の画像表示面が車内側に配置され、撮像手段で撮像された画像が画像表示面に表示され、表示された画像を見ながら運転若しくは走行するようになっているワイパーを具備しない車両である。

Description

ワイパーを具備しない車両
 本発明は、運転ができ、ワイパーを具備しない車両(乗用車、タクシー、トラック、ダンプカー、トレーラなど)に関し、特に車両前面に透明なフロントガラスがなく、前方カメラの撮像画像を見ながら運転でき、しかもワイパーを具備しない車両に関する。
 例えば図1は一般的な乗用車(セダンタイプ)の外観を示しており、運転席1の前面に透明なフロントガラス2が設けられ、運転席1に座った運転者が、フロントガラス2を通して実際に見ることができる道路状況(風景)から、ハンドルを操舵して乗用車を運転する。その際、雨や雪などでフロントガラス2の表面に雨滴などが付着すると、前方が見え難くなって運転に支障を生じるため、フロントガラス2を拭き取るワイパー3が具備されている。
 また、図2に示すような小型の1ボックスカーでも同様であり、運転席10の前方にフロントガラス11が設けられていると共に、ワイパー12が設けられている。図3はバス(若しくはトラックやトレーラ)の前部を断面的に示しており、運転席20に座った運転者20Aは、前面のフロントガラス21を通して道路状況を見て、ハンドル操作して運転する。フロントガラス21の前面には、雨のときの雨滴や流水、雪のときの雪片などを拭取り、前方を見やすくするためのワイパー22が設けられている。
特開2016-71666号公報 特開2006-1377号公報 特開2013-242346号公報 特開2020-131901号公報 特開2005-286938号公報 特開2020-175889号公報 特開2013-32082号公報 特開2018-184119号公報 米国特許出願公開第2017/0315771号明細書 特開2020-023293号公報 欧州特許出願公開第2913228号明細書 特表2008-504597号公報 特開2013-247492号公報
 上述のように従来の車両は、車両前面に透明なフロントガラスが設けられており、運転者は、フロントガラスを通して道路状況を見ながら運転するようになっている。自動運転(レベル0~レベル5)の車両でも、フロントガラスが設けられている。フロントガラスを設けると、雨や雪が降った時にフロントガラスに雨滴や雪片が付着してしまい、前方が見難くなり、運転に支障を生じることになる。そのため、車両にはフロントガラスの前面側にワイパーが装着されており、ワイパーをスイープ動作乃至旋回動作させ、雨滴や雪片等をフロントガラス面上から拭き取るようになっている。ワイパーは一般的に接触式、機械式であるため、そのメンテナンス作業に労力やコストがかかると共に、大雨や大雪の場合には、スイープ速度乃至旋回速度を上げても、ワイパーの拭き取り効果が十分発揮できない現況となっている。高価な高級車においても同様である。また、雪が降る豪雪地域などでは、ワイパーが降雪の重みによって破損したり、凍結することもある。
 接触式でないワイパーも提案されているが(特許文献8)、別途大掛かりな装置を設置する必要があり、実用的に採用できるものではない。
 また、フロントガラスは透明であるため、太陽やサーチライト等の光源に向かって走行するような場合には、運転者の目に光が入り、眩しくなり、運転し難くなる。日差しや光が眩しい場合には、サングラス等を装着したとしても前が見難くなるので、安全運転に支障を生じることになる。更に、夜間の運転においては、ヘッドライトの照明があるにしても、前方や周囲の見通しが悪くなる問題がある。
 本発明は上述のような事情よりなされたものであり、本発明の目的は、保守が必要で拭き取り効果が十分でないこともあるワイパーを具備せず、透明なフロントガラスと同様な機能で、画面に映し出された映像を見ながら運転でき、夜間でも昼間と同様な視覚で運転可能であると共に、安全性及び信頼性を高める機能を有したワイパーを具備しない車両を提供することにある。
 本発明は、車両の運転席前面部に画像表示部が設置されると共に、車両前方の道路状況を撮像する撮像手段が設けられており、前記画像表示部の画像表示面が車内側に配置され、前記撮像手段で撮像された撮像画像が前記画像表示面に表示され、前記画像表示面に表示された画像を見ながら運転若しくは走行するようになっているワイパーを具備しない車両に関し、本発明の上記目的は、前記撮像手段が、メイン光学系を構成する第1の可視光センサ及び赤外光センサと、サブ光学系を構成する第2の可視光センサ及び赤外光センサとで成り、前記撮像手段が上下方向に調整可能であると共に、操作部により高さ調整できるようになっており、前記メイン光学系及び前記サブ光学系の画像合成処理を実施する画像処理手段により、前記画像表示面に前記撮像画像を表示するようになっていることにより達成される。
 また、本発明の上記目的は、車両前方側に配置された遮蔽板及び車室側の運転席前面部に配置された表示ユニットで成り、車両の前面部に設置された画像表示部と、車両前方の道路状況を撮像する、メイン光学系を構成する第1の可視光センサ及び赤外光センサと、サブ光学系を構成する第2の可視光センサ及び赤外光センサとを有し、前記遮蔽板に設置されたセンサ部材と、前記第1の可視光センサ及び赤外光センサ並びに前記第2の可視光センサ及び赤外光センサからの各映像データを画像合成処理して、前記表示ユニットに撮像画像を表示する画像合成処理手段と、前記メイン光学系の異常を検知するセンサ異常検知部とを備え、前記センサ部材は、前記第1の可視光センサ及び赤外光センサ並びに前記第2の可視光センサ及び赤外光センサの上方を覆う構造になっており、前記表示ユニットに表示された前記撮像画像を見ながら運転若しくは走行するようになっており、通常は前記メイン光学系を作動させ、前記センサ異常検知部が前記メイン光学系の異常を検知したとき、前記メイン光学系を前記サブ光学系に切り換えて作動させるようになっているワイパーを具備しない車両により達成される。
 本発明に係る車両はワイパーを具備しないので、その保守作業は全く不要であり、大雨や大雪の時でも視界を妨げられることはなく、昼夜を問わず常に安全な運転を継続することができる。また、フロントガラスを通しての運転ではないので、太陽や光源等の光を目に入れることがないので、常に安全な運転を行うことができる。車両前面がフロントガラスに代わる遮蔽板であるので、落下物等でフロントガラスが損傷し、運転が不可能になることもない。
 更に、運転者の実視野角より広くすることができるので、一層安全運転に寄与でき、事故の回避にも役立つ利点がある。
一般的な乗用車の例を示す平面図及び側面図である。 1ボックスカーの一例を示す斜視図である。 バス(トラック)の構造例を示す断面図である。 本発明に係る乗用車の一例を示す斜視図である。 本発明に係る乗用車の車室内後部から前方を見た構造例を示す図である。 画面表示例を示す画面図である。 運転者と画像表示部の関係を示す断面構造図である。 広角センサの配設例を示す平面図である。 図8の詳細構成図である。 図9のX-X’の断面図である。 図9のY-Y’の断面図である。 載置台の変形例を示す構成図である。 載置台の変形例を示す断面図である。 制御部の構成例(第1実施形態)を示すブロック図である。 本発明の動作例(第1実施形態)を示すフローチャートである。 制御部の構成例(第2実施形態)を示すブロック図である。 本発明の動作例(第2実施形態)を示すフローチャートである。 アラーム信号の処理例(第1実施例)を示すブロック構成図である。 アラーム信号の処理例(第2実施例)のためのスペアカメラの設置例を示す斜視図である。 アラーム信号の処理例(第2実施例)のための画像表示部の設置例を示す車室内の図である。 アラーム信号の処理例(第2実施例)を示すブロック構成図である。 本発明の他の実施形態を示す斜視図である。
 本発明に係る車両はフロントガラスを具備せず、フロントガラス表面を拭き取るためのワイパーを具備せず、撮像手段として、広い視野(画角180°)を有する広角センサ(カメラ)が撮像した道路状況(車両の前方風景)を画像表示装置(フロントガラス位置相当部)に映し出し、運転者はその表示画像(映像)を見ながら運転する。運転者の見る視野を大きく広げて、昼夜を問わず、運転中に車外のリアルタイム映像を画像表示装置に映し出すことができる。また、安全を損なうような場合にはアラームを発したり、ハザードランプを点滅させて自動ブレーキを掛けたりして、事故を未然に防ぐような安全対策を講じている。更に、周囲の状況に応じて、自動ハンドルを作動させ、自動ブレーキによる衝突や追突を回避する対策も講じている。
 本発明に係る車両では、運転者が画像表示装置の映像を見ながら運転するので、特に安全性が要請されるが、システムを多重化、冗長化することで、高信頼化を達成できる。冗長化には、並列冗長、待機冗長、多数決冗長などがあり、宇宙、交通、金融等、ミッションクリティカルな分野でそれぞれ適用されている。本発明の場合は、システムに異常(故障や不具合を含む)が発生した際、即時にリカバーできるリアルタイム性が重要であり、並列冗長方式が適している。そのためには、本体、電源、ケーブル、メモリなどを2重化し、2つのシステムが常に全く同じ処理を行う状態を形成する。1つをメインシステムとし、他をサブ(バックアップ)システムとするが、この2つのシステムを使う方式は、(1)互いに監視し合う方式(デュアルシステム)、(2)異常発生時に入れ換える入れ換え方式などがある。デュアルシステムでは、常時互いに処理結果を比較し合い、いつでもシステムの入れ換えができるようにする。映像投影のシステムの場合、互いに常時監視を行う必要性は少ない場合が多い。この場合は、どちらかが異常となった時に、他のシステムに切り換えれば良く、入れ換え方式が簡単でコスト的にも良い。
 メインシステムに異常が発生した場合、メインシステムがこの異常を検知し、サブシステムに高速度で切り換え、動作を途切れなく継続する。即ち、メインシステムは先ず異常の自動回復を図るが、回復できない場合にはサブシステムに高速度で切り換え、更にサブシステムに異常が発生した場合にも自動回復を図るが、回復できない場合にはアラーム(停止等)の動作となる。この動作を実現するために、2つのシステムの共有メモリを具備し、その共有メモリに異常発生を知らせる異常フラグを設定し、この異常フラグの値をチェックし合う。異常は通常、外部ICが検出してCPU(Central Processing Unit)に割り込みでエラーを知らせる。転送エラー、電源エラー、伝送路エラーなどのエラーがあるが、それらを監視する外部ICを使用する。CPUは割り込みを検出した場合、実行中の処理を中断し、割り込み処理ルーチンを優先して実行するが、そのルーチンの最初に、エラー発生を共有メモリのフラグに書き込み、サブシステムがフラグのエラーを読んだ時、メインシステムとして動作する。
 或いは、より迅速には、メインシステムが外部ICからの割り込みを検出した時、サブシステムのCPUに割り込みを発行してエラーを報知する方法がある。フラグを使用する場合は、1つの処理が終わらなければチェックされないが、割り込みの場合は、1つの命令が終了するたびにチェックされるので、ほぼ1クロック~数クロック(例えば1GHzで動作中の場合、1nsec~数nsec)でエラーが他のCPUに認知され、メインシステムの切り換え処理がスタートする。このフラグや割り込みの方式により、高速度のシステム交替を実現することができる。
 以下に、本発明の実施形態を、図面を参照しながら説明する。
 図4は本発明に係る車両(乗用車)100の外観例を示しており、車体構造自体は従来と同一であるが、フロントガラスを有さず、その代わりに、車両前面部の全面に画像表示部110が設けられると共に、画像表示部110の前面表面(遮蔽板112)に、車両100の前方風景(道路)を広い視野角(画角180°)で、可視光及び赤外光で撮像する広角センサ部材120が設けられている。画像表示部110は、従来のフロントガラスと同様サイズの平面矩形状の構造物であり、車両100の構造的強度を補強し、画像表示部110の前方側(車両外側)は車両としての美観を有する遮蔽板112であり、車室側が液晶等で成る表示ユニット111となっている。広角センサ部材120の配設位置は、本例では、運転者が運転席に座った目線の高さに応じて、高さ位置を調整できるようになっている。
 図5は、車室内の後部方向から運転席前方を見た様子を示しており、前面には画像表示部110の表示ユニット111に、広角センサ部材120で撮像された道路状況(風景)が映し出されている。表示ユニット111に道路状況が映し出されるのは、車両100の走行時(イグニションキーON時)であり、イグニションキーON時には停車及び停止中であっても表示される。従って、運転者は、停車及び停止中においても常時車両前方の道路状況(風景)を見ることができる。
 また、図6は、表示ユニット111に映し出される画面の一例を示しており、運転者101は表示ユニット111の映像を見ながら、ハンドル102を操舵して運転する。また、運転席前のボードには、後述する広角センサ位置表示部170が設けられている。更に図6の例では、ハンドル102を操舵する場合を示しているが、自動運転についても同様である。NHTSA(National Highway Traffic Safety Administration)は2016年、SAE(Society of Automotive Engineers)の自動運転レベルの定義を採用し、自動運転レベルを、運転自動化なし(レベル0)、運転者支援(レベル1)、部分的運転自動化(レベル2)、条件付き運転自動化(レベル3)、高度運転自動化(レベル4)、及び完全自動運転化(レベル5)に分類したが、これら各レベルの自動運転車両についても適用できる。
 図7は、運転者101と画像表示部110(表示ユニット111)の関係の構造例を示しており、図7(A)は遮蔽板112と表示ユニット111が分離された例であり、図7(B)は遮蔽板112と表示ユニット111が一体化された例を示している。即ち、図7(A)では、遮蔽板112を乗用車の前面に設け、雨等が車内に侵入することを防止すると共に、乗用車の強度を補強し、遮蔽板112上に広角センサ部材120を設け、遮蔽板112の車内側の分離された位置に表示ユニット111を設けた例である。本例によれば、表示ユニット111と遮蔽板112とが分離されているので、遮蔽板112を強度な材料で作製することにより、乗用車を一層強固な構造とすることができる。また、図7(B)は乗用車の前面に一体型の画像表示部110を直接設けた例であり、画像表示部110の裏面、つまり乗用車の前面側の遮蔽板112に広角センサ部材120が設けられ、画像表示部110の表面、つまり乗用車の内側は表示ユニット111になっている。
 いずれの構成でも良いが、図7(B)の一体型の場合には、表示ユニット111の設置角度が運転者101の目線に対して大きくなるので、画像処理によって遠近感を補正する必要がある。例えば、遠近法(パース(perspective))などを使い、画面中央を消失点として、周囲を収斂させる様に、遠方を小さく表示する手法などを用いる。また、遮蔽板112は車両100の前方に配置されるので、遮蔽板112の表面側(前方側)は、空気抵抗を弱めるように、通常の一般的なフロントガラスと同様な湾曲形状となっている。
 本発明の広角センサ部材120の表示ユニット111は、通常時においても、また、雨や雪が降った場合にも、更に夜間においても運転者が、従来のフロントガラスを介して前方を見た場合と同様の視覚機能で、若しくはフロントガラスの場合以上の視覚機能を有している。そのため、本発明では、可視光の可視光広角センサと、夜間などに好的な赤外光広角センサの2系統を用いる。また、広角センサの撮像に基づく表示ユニット111の映像を見ながら運転するので、特に広角センサ系統の異常発生は重大である。このため、本発明では安全性と信頼性を損なわないように、センサ系統及び画像処理系統を、バックアップ系統を含めた2系統とし、更に安全対策も講じている。
 図8は、遮蔽板112に広角センサ部材120を設置する様子を示しており、乗用車100の前方より車両(遮蔽板112)を見た場合の構造を示している。広角センサ部材120は断面L字状の載置台126を備え、載置台126の底部に画角180°の可視光広角センサ140-1及び140-2と、画角180°の赤外光広角センサ150-1及び150-2とが設置されている。可視光広角センサ140-1及び赤外光広角センサ150-1でメインセンサ光学系を形成し、可視光広角センサ140-2及び赤外光広角センサ150-2でバックアップとなるサブセンサ光学系を形成している。これらセンサの平面的配置は、図8の配置例に限定されるものではなく、適宜変更可能である。
 運転者の目線位置は身長(上背)や座席の高さによって相違するので、可視光広角センサ140-1及び140-2と赤外光広角センサ150-1及び150-2は、運転者の目線位置に合致して配置されるように、ガイド溝121及び122を介して上下方向に可動となっている。これにより、運転者の目線位置に合った撮像画像を得ることができる。また、広角センサ部材120の設置位置は左ハンドル仕様車、右ハンドル仕様車によって相違し、図8では、右ハンドル仕様車の場合の装着位置を示しているが、左ハンドル仕様車の場合も同様に適用できる。
 図9は広角センサ部材120の詳細を平面図で示しており、図10は図9のX-X’の断面構造であり、図11は図9のY-Y’の断面構造である。遮蔽板112の左右端の上下方向に穿設された長形状のガイド溝121及び122内には、各1対のホイール121A、121B及び122A、122Bが設けられている。ホイール121A及び121Bにはベルト123-1が巻回され、ホイール122A及び122Bにはベルト123-2が巻回されている。固定された駆動モータ125の出力軸にはウォームギア等で成る回転変換部124が接続され、回転変換部124の両側には回転軸124-1及び124-2が延伸しており、回転軸124-1にはホイール121Aが連結され、回転軸124-2にはホイール122Aが連結されている。従って、駆動モータ125を回転駆動することにより、回転変換部124、回転軸124-1及び124-2を介してホイール121A及び122Aを回動させることができる。
 ベルト123-1及び123-2の上面には断面L字状の載置台126の底部が固定されており、ベルト123-1及び123-2の移動に応じて載置台126も移動(上下動)する。載置台126の底部には可視光広角センサ140-1及び140-2が設置されると共に、赤外光広角センサ150-1及び150-2が設置されているので、載置台126の移動に応じて可視光広角センサ140-1及び140-2、赤外光広角センサ150-1及び150-2も移動し、センサの高さ調整を行うことができる。この高さ調整により、運転者の目線位置で車両前方を撮像することができる。
 また、ベルト123-1(又は123-2或いは両方)の下面には突起123-1Aが取り付けられると共に、該当するガイド溝121(又は122或いは両方)の底面にはストッパ部121-1及び121-2が突設されている。ストッパ部121-1及び121-2によって突起123-1Aの移動が制限されることにより、広角センサ部材120の上下動範囲が制限される。従って、載置台126が遮蔽板112のガイド溝121及び122の壁部に衝突して、破損することはない。
 更に、載置台126の上部は、雨や雪などが広角センサ140-1、140-2及び150-1、150-2の前面に付着しないように、壁部材126Aが垂設されると共に、壁部材126Aの先端部に下方に折れ曲がった庇部126Bを具備して、広角センサ140-1、140-2及び150-1、150-2を覆うようになっている。即ち、詳細を図11に示すように、載置台126の底部の一端部に高さL1の壁部材126Aが垂設され、壁部材126Aの先端から傾斜角θで長さL2の庇部126Bが設けられている。壁部材126Aの高さL1、庇部126Bの傾斜角θ及び長さL2は適宜変更可能であり、雨や雪が広角センサ140-1、140-2及び150-1、150-2の前面に付着しないように予め寸法設定されている。
 上記例では、広角センサ150-1及び150-2が載置台126の底部表面から高さhで突出しているが、高さh=0であっても良いし、撮像に悪影響を及ぼさない限り、表面から埋没した構造であっても良い。他のセンサ140-1及び140-2も同様である。また、本例では、載置台126の底部両側は貫通構造となっているが、車両100の進行方向に対して横方向からの雨や雪の付着の防護対策として、図12及び図13に示すように、底部両側に三角形状の防護壁126C-1及び126C-2を設けた構造であっても良い。
 図14は本発明の制御部200の構成例(第1実施形態)を示しており、全体の制御を行うCPU(MCU(Micro Controller Unit),MPU(Micro Processor Unit)などを含む)210が設けられており、CPU210には、プログラムやデータを格納するROM212と、データや情報等を記憶したり、画像処理に使用するビデオメモリとなるRAM211とが接続されている。
 メインセンサ光学系となる可視光広角センサ140-1及び赤外光広角センサ150-1からの映像データMS1及びMS2は、それぞれA/D変換部201及び202でディジタル変換処理されて制御部200に取り込まれ、サブセンサ光学系となる可視光広角センサ140-2及び赤外光広角センサ150-2からの映像データSS1及びSS2は、それぞれA/D変換部203及び204でディジタル変換処理されて制御部200に取り込まれる。また、明度センサ130からの明度信号LSは、A/D変換部205でディジタル変換処理されて制御部200に取り込まれる。なお、明度センサ130は、ヘッドライトの自動点灯/消灯のためのセンサを流用でき、A/D変換部201~205は、それぞれ各センサのチップに内蔵されることもあり、この場合には、ディジタル変換された各映像データが制御部200に取り込まれる。
 また、CPU210には、可視光の映像データ及び赤外光の映像データを合成して必要な画像処理を施す画像合成処理部220と、画像表示の明るさを外部の明度に応じて調整する明度調整部280と、画像合成処理及び明度調整された画像を画像表示部110に表示するための映像信号DSを出力する表示制御部230と、駆動モータ125を駆動信号DMで駆動制御する駆動制御部240と、メインセンサ光学系が異常となったときにサブセンサ光学系に切り換える切換部250と、センサ光学系の異常(故障や不具合を含む)を検知するセンサ異常検知部260と、電圧等の基礎的項目の初期診断を行う初期診断部270とが相互に接続されている。制御部200には、運転者の操作による操作部160からの操作信号PSも入力され、画像合成処理部220は、RGB画像の生成、明度調整、ホワイトバランス調整、シャープネス調整、コントラスト調整、画像の重ね合わせ、特定部分の強調なども行う。
 なお、赤外線は赤外光(単色)の反射を見ているので、そのままでは単色なので、良い画像を得るには着色(RGB)などの処理が必要である。
 画像合成処理部220は、CPU210と協働して画像処理を実行するGDC(Graphics Display Controller)で成る。GDCは、例えばGPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等から構成されている。
 また、制御部200はCAN(Controller Area Network)等の車載ネットワークに接続されており、LIN(Local Interconnect Network)、FlexRay(登録商標)、Ethernet(登録商標)、MOST(Media Oriented Systems Transport)等の規格の少なくとも1つを使用して構築されている。無線接続の場合は、無線LAN(IEEE802,11a/b/g)、Bluetooth(登録商標)、赤外線(IrDA)、UWB(Ultra Wide Band)等を使用することができる。これにより、制御部200は車載ネットワークのデータや情報(例えば車速、エンジン速度、気温など)を共有している。
 このような構成において、その動作例(第1実施形態)を図15のフローチャートを参照して説明する。
 先ず、イグニションキーON後、運転席前のボード等に設けられている広角センサ位置表示部170を見て、広角センサ部材120の高さ位置が自分に合っているか否かを判断する(ステップS10)。広角センサ位置が自分に合っていない場合には、操作部160からの指示により、駆動制御部240を介して駆動モータ125を駆動し、広角センサ位置の高さを調整する(ステップS11)。実際の広角センサ位置の高さと、広角センサ位置表示部170の表示との関係は予め求めてあるので、広角センサを実際に起動して画像表示しなくても、高さの調整は可能である。また、広角センサ起動後の運転時においても、任意時に、操作部160の操作によって適宜高さ調整可能である。
 広角センサ部材120の高さ位置がOKの場合若しくは高さ調整後には、メインセンサ光学系の可視光広角センサ140-1及び赤外光広角センサ150-1からの映像データMS1及びMS2と、サブセンサ光学系の可視光広角センサ140-2及び赤外光広角センサ150-2からの映像データSS1及びSS2とを取り込み(ステップS12)、電圧、電流等の基礎的項目に異常がないかの初期診断を初期診断部270により行い(ステップS13)、異常がなければ、メインセンサ光学系の可視光広角センサ140-1及び赤外光広角センサ150-1からの映像データMS1及びMS2を取り込む(ステップS14)。メインセンサ光学系の可視光広角センサ140-1及び赤外光広角センサ150-1からの映像データMS1及びMS2を画像合成処理部220で画像合成処理し(ステップS15)、明度センサ130から明度信号LSを取り込み(ステップS16)、明度調整部280で明度調整し(ステップS17)、画像合成処理且つ明度調整された映像を、表示制御部230を介して映像信号DSにより画像表示部110(表示ユニット111)に表示する(ステップS16)。表示ユニット111の映像は、可視光広角センサ140-1及び赤外光広角センサ150-1で撮像された画像であり、車両の前方風景(道路状況)であり、運転者は、この映像を見ながら乗用車を運転する(ステップS20)。
 運転中、センサ異常検知部260は、センサ部が異常になっているか否かを常時検知しており(ステップS21)、正常な場合はリターンとなり、異常発生が検知された場合には、切換部250を介してメインセンサ光学系をサブセンサ光学系に切り換える(ステップS22)。これにより、サブセンサ光学系の可視光広角センサ140-2及び赤外光広角センサ150-2からの映像データSS1及びSS2を取り込み(ステップS23)、当該センサからの映像データSS1及びSS2を画像合成処理部220で画像合成処理し(ステップS15)、以降は上記動作を繰り返す。
 なお、運転中においても、操作部160を操作して、随時センサ位置の高さを調整することができる。また、表示ユニット111の映像の明るさなども、操作部160により調整可能である。更に、メインセンサ光学系が異常でなくても、センサ表面に雨滴等が付着して、映像が見難くなった場合等においては、操作部160によりメインセンサ光学系をサブセンサ光学系に切り換えて、運転を継続することもできる。
 近年、ヘッドアップディスプレイ(HUD)と称される画像表示装置の開発が進められ、乗用車等の移動体に搭載されている。乗用車に搭載されるヘッドアップディスプレイでは、画像情報により変調された光がウインドシールド(フロントガラス)に向けて投射され、その反射光が運転者の目に照射される。これにより、運転者は、ウインドシールドの前方に、画像の虚像を見ることができる。例えば、車速や外気温度等が、虚像として表示されるが、本発明の表示ユニット111にヘッドアップディスプレイの虚像を照射することも可能である。
 表示ユニット111は液晶ディスプレイであっても良いが、ヘッドアップディスプレイの虚像を表示する場合には、OLED(Organic Light Emitting Diodes)、DMD(Digital Micro mirror Device)、LCOS(Liquid Crystal On Silicon)などの表示デバイスを用いたものであっても良い。
 また、表示制御部230からの映像信号DSを直接映像メモリ(レコーダ)に記録することができ、これによりドライブレコーダの機能を有する。一般的なドライブレコーダは、フロントガラスの室内側に撮像カメラを装着し、カメラ映像を映像メモリ経由でSDカードに書き込んで保存し、後でそれを読み出して画像を得ており、リアルタイム性はない。また、一般的なドライブレコーダでは、運転者の視野の妨げにならない位置、つまりフロントガラスのワイパーの届かない位置に撮像カメラを装着するので、雨や雪などの場合には、撮像カメラ前のフロントガラスに付着した雨滴や雪片等により、鮮明な画像が得られない不都合もある。しかしながら、本発明では、撮像手段で撮像しながら画像表示部110に表示すると共に、そのまま映像メモリ(レコーダ)に記録することができるので、リアルタイム性があると共に、雨等に影響されずに常に鮮明な画像が得られる利点がある。なお、映像メモリ(レコーダ)として、RAM211を使用しても良い。
 図16は本発明の制御部の他の構成例(第2実施形態)を示しており、より安全性と信頼性を高めたものである。本第2実施形態では、メインセンサ光学系のメイン制御部200Mと、サブセンサ光学系のサブ制御部200Sと、全体の制御を行う全体制御部300とで構成されており、画像表示部110に画像を映し出すと共に、駆動モータ125を駆動して広角センサの高さ位置を調整するようになっている。
 制御部200M及び200Sは、広角センサからの映像データ及び出力する信号やデータは異なるが、同一の構成である。即ち、メイン制御部200Mには、可視光広角センサ140-1及び赤外光広角センサ150-1からの映像データMS1及びMS2が入力され、メイン制御部200Mから、映像信号DSM及び駆動信号DMMが出力され、サブ制御部200Sには、可視光広角センサ140-2及び赤外光広角センサ150-2からの映像データSS1及びSS2が入力され、サブ制御部200Sから、映像信号DSS及び駆動信号DMSが出力される。明度センサ130からの明度信号LSは、メイン制御部200M及びサブ制御部200Sに入力される。安全性の面では、画面の明度は最重要課題ではないので、明度センサ130を1個としているが、メイン及びサブで2個を設けるようにしても良い。ここでは、メイン制御部200Mについて説明するが、サブ制御部200Sの動作構成も同一である。
 メイン制御部200Mは、全体の制御を行うCPU(MCU,MPUなど)210Mを備え、CPU210Mには、プログラムやデータを格納するROM212Mと、データや情報等を記憶したり、画像処理に使用するRAM211Mとが接続されている。メインセンサ光学系となる可視光広角センサ140-1及び赤外光広角センサ150-1からの映像データMS1及びMS2は、それぞれA/D変換部201M及び202Mでディジタル変換処理されて取り込まれ、明度センサ130からの明度信号LSはA/D変換部205Mを経て取り込まれる。CPU210Mには、可視光の映像データMS1及び赤外光の映像データMS2を合成して必要な画像処理を施す画像合成処理部220Mと、画像合成処理された画像を画像表示部110に表示するための映像信号DSMを出力する表示制御部230Mと、駆動モータ125を駆動制御する駆動信号DMMを出力する駆動制御部240Mと、メインセンサ光学系の異常(故障や不具合を含む)を検知するセンサ異常検知部260Mと、電圧、電流等の基礎的項目の初期診断を行う初期診断部270Mとが相互に接続されている。なお、画像合成処理部220Mは、RGB画像の生成、明度調整、ホワイトバランス調整、シャープネス調整、コントラスト調整、画像の重ね合わせ、特定部分の強調なども行う。
 また、CPU301を備える全体制御部300は、制御部200M及び200Sと相互に接続されると共に、RAM302及びROM303を有し、切換部310及び311を切り換える切換制御部304と、全体のシステム異常を検知する異常検知部305とを備えている。
 このような構成において、その動作例(第2実施形態)を図17のフローチャートを参照して説明する。
 本例の場合も先ず、イグニションキーON後、運転席前のボード等に設けられている広角センサ位置表示部170を見て、広角センサ位置が自分に合っているか否かを判断する(ステップS30)。広角センサ位置が自分に合っていない場合には、操作部160からの指示により、駆動制御部240Mを介して駆動モータ125を駆動し、広角センサの高さ位置を調整する(ステップS31)。この場合、初期状態においては、切換部311は切換制御部304により、メイン制御部200Mの駆動制御部240Mからの駆動信号DMMとなっている。
 広角センサの高さ位置がOKの場合若しくは高さ調整後には、全体制御部300により、メイン制御部200Mは、メインセンサ光学系の可視光広角センサ140-1及び赤外光広角センサ150-1からの映像データMS1及びMS2を取り込み(ステップS32)、電圧、電流等の基礎的項目に異常がないか否かの初期診断を初期診断部270Mにより行う(ステップS33)。初期診断に異常がなければ、全体制御部300により、サブ制御部200Sは、サブセンサ光学系の可視光広角センサ140-2及び赤外光広角センサ150-2からの映像データSS1及びSS2を取り込み(ステップS44)、同様に電圧、電流等の基礎的項目に異常がないか否かの初期診断を初期診断部270Sにより行う(ステップS35)。
 上記初期診断により異常がない場合、全体制御部300により、メイン制御部200Mは、メインセンサ光学系の可視光広角センサ140-1及び赤外光広角センサ150-1からの映像データMS1及びMS2を取り込み(ステップS40)、映像データMS1及びMS2を画像合成処理部220Mで画像合成処理し(ステップS41)、明度調整部280Mで明度調整を行い(ステップS41A)、表示制御部230Mから映像信号DSMを出力し、切換部310を介して画像表示部110(表示ユニット111)に画像を表示する(ステップS42)。運転者はこの映像を見ながら、乗用車を運転する(ステップS43)。
 運転中、センサ異常検知部260Mはセンサ部及びメイン制御部200Mが異常か否かを検知しており(ステップS44)、正常な場合は継続動作か否かの判定を行う(ステップS45)。判定が継続の場合は上記ステップS41にリターンし、継続でない場合は停止(イグニションキーOFF)となる。
 また、上記ステップS44において異常と判定された場合には、全体制御部300の切換制御部304により、サブセンサ光学系の可視光広角センサ140-2及び赤外光広角センサ150-2からの映像データSS1及びSS2をサブ制御部200Sに取り込み(ステップS50)、映像データSS1及びSS2を画像合成処理部220Sで合成処理し(ステップS51)、明度調整部280Sで明度調整を行い(ステップS51A)、表示制御部230Sは映像信号DSSを出力する。同時に、切換制御部304は切換部310をメイン制御部200Mからサブ制御部200Sに切り換え(ステップS52)、映像信号DSSにより、切換部310を介して画像表示部110(表示ユニット111)に画像表示する(ステップS53)。運転者はこの映像を見ながら、乗用車を運転する(ステップS54)。
 運転中、センサ異常検知部260Sは、常時センサ部及びサブ制御部200Sに異常が発生していないか否かを検知しており(ステップS55)、正常な場合は上記ステップS50にリターンし、上記動作を繰り返す。センサ異常検知部260Sが異常発生を検知した場合には、全体制御部300の異常検知部305からアラーム信号ARを出力する(ステップS60)。また、異常検知部305がシステムの異常を検知した場合も、アラーム信号ARを出力する。
 本第2実施形態でも、切換部310からの映像信号DSを直接映像メモリ(レコーダ)に記録することができ、これによりドライブレコーダの機能を有する。一般的なドライブレコーダは前述の通りであるが、本実施形態では、撮像手段で撮像しながら、切換部310を経て画像表示部110に表示する映像信号DSをそのまま映像メモリ(レコーダ)に記録することができるので、リアルタイム性があると共に、常に鮮明な画像が得られる利点がある。映像メモリ(レコーダ)として、RAM302(若しくはRAM211M,211S)を使用しても良い。
 なお、上述ではメイン光学系及びメイン制御系に異常が生じたときにサブ光学系及びサブ制御系に切り換えているが、異常発生でなくても、メインセンサ表面に雨滴等が付着して、映像が見難くなった場合等においては、操作部160によりサブセンサ光学系及びサブ制御系に切り換えることもできる。
 一方、上記ステップS60においてアラーム信号ARが出力された状態では、画像表示部110に映像が映し出されない状況が考えられ、本発明では車両の安全のために、以下のような対策を講じる。
 図18は第1実施例を示しており、アラーム信号ARはランプ点滅部180-1に入力され、ハザードランプ180-2が点滅されると共に、アラーム信号ARはブレーキ作動部180-3に入力され、ブレーキ180-4が徐々にかかるようになっている。車両が急停止すると、後続車に追突される恐れがあるので、徐々にブレーキをかける。これにより、ハザードランプ180-2の点滅により周辺に注意喚起を促しながら、車両は自動的に徐々に停止する。当然、運転者がブレーキをかけても良い。
 第2実施例は、図19に示すように車両フロント部にスペアカメラ181-1を設置し、図20に示すように車室内の適当な位置に、小さな画像表示部181-3を設置しておく。つまり、小型で簡易な撮像映像手段を予備的に用意しておく。スペアカメラ181-1からの撮像信号は、一般的な画像処理部181-2で処理され、アラーム信号ARが入力されたときに、車室内の画像表示部181-3に画像が表示される。スペアカメラ181-1は車両の前方風景を撮像できるものであれば良く、また、画像表示部181-3も車両の前方風景を表示でき、運転者が前方を確認できる程度の機能を有すれば良い。
 図21は第2実施例の構成例を示しており、通常時は画像処理部181-2は動作しておらず、画像表示部181-3にも画像は表示されていない。そして、アラーム信号ARが入力されると自動的に電源がONされ、スペアカメラ181-1からの撮像信号が画像処理部181-2で処理され、画像表示部181-3に画像、つまり車両の前方風景が映し出される。従って、運転者は画像表示部181-3の画像を見ながら、安全な停車位置まで車両を移動することができる。
 また、第3実施例として、図16の2重系システムを3重系としても良いが、この場合にはカメラ系統も3系統を要する。更に、上記第1実施例~第3実施例を適宜組み合わせても良い。
 ここで、光ファイバは、アナログの光画像を送る場合と、光そのものを送る場合に有効である。CMOS(Complementary MOS)センサやCCD(Charge-Coupled Device)センサを使用せず、集光レンズで集めた光をそのまま光ファイバで送って、出口でレンズにより拡散させて表示部に映し出す方法がある。しかし、この方法は画像の精度が低く、本発明には不適である。可視光のCMOSセンサの場合、A/D変換器はセンサと同じ技術で作製されることが多いが、CCDセンサでは別チップとなる。しかし、光ファイバは、どこかに設置する照射光をセンサの横に導く場合には必要となり、センサ横からレンズを通して放出し、その反射光をセンサが画像として捉える。照射光は、可視光の場合は、ヘッドライトや太陽光が照射光になるので、使用しても補助光程度であるが、赤外光センサでは人工的に赤外線を作るので必須でとなり、赤外光広角センサ150-1及び150-2の横に赤外線照射光を設置することが必要である。この赤外線照射光は、赤外線LEDで作られ、監視カメラなどではセンサの周りに10個~20個設置されることが多いが、赤外光広角センサ150-1及び150-2は、周りにこの赤外線LEDが付いているセンサとする必要がある。LEDは大きな電流を必要とするので、ダッシュボード付近に配置して銅線でLEDに電力を送るか、電源とLEDをダッシュボード付近に配置して、光ファイバで赤外線をセンサ横まで伝送する方法がある。
 本発明の車両は無線通信部を備え、外部のデータセンタ、路側機、他の車両などと無線通信を行うようにしても良い。例えば携帯電話網(セルラー網)、無線LAN、ETC(Electronic Toll Collection System)、DSRC(Dedicated Short Range Communications)、V2I(Vehicle-to-Infrastructure)、V2V(Vehicle-to-Vehicle)を使用することができる。
 なお、上述の実施形態では可視光広角センサと赤外光広角センサによりセンサ系を形成したが、可視光広角センサのみでも良い。また、上述の実施形態では、広角センサ部材を上下に可動として高さ調整するようになっているが、例えば図22に示すように固定した場所に設置するようにしても良い。
 本発明では、広角センサで撮像された撮像画像を画像表示部の表示ユニットに表示しており、その撮像画像は車両が走行する前方風景であるので、別途撮像カメラを設けることなく、表示ユニットに入力される映像信号を用いて危険物(例えば前方を横切る人)の検知を行い、運転者等に報知することもできる。
 例えば特開2007-48249号公報に開示されているように、映像中の監視対象物の要素単位で解析できる知的映像解析システムを利用して知的映像監視システムを構成し、該解析システムの解析機能を使って監視対象物の行動を監視することができる。また、特開2017-142795号公報に開示されているように、撮影された画像から子供に関連するオブジェクトを割り出すことができるように構成された評価手段と、評価手段によって評価された車両から子供に関連するオブジェクトまでの間隔に応じて、該子供に関連するオブジェクトが帰属する、突然現れる可能性を有する人物との少なくとも一種の該車両の衝突予防対策を開始するように構成された制御手段とを備えることにより、子供の交通安全を高めることができる。また、特開2006-285385号公報に開示されているように、各種画像フィルタを木構造状に組み合わせた処理プログラムを遺伝的プログラミングにより自動的に最適化できるACTIT(Automatic Construction of Tree-structural Image Transformations)の手法を動画像中からの特定対象の抽出に拡張すると共に、オプティカルフローの手法を取り入れて動画像中から移動物体を精度良く抽出することができる。
 更に、上述の実施形態では乗用車について説明したが、タクシー、トラック、ダンプカー、トレーラ、バス、ワゴン車、SUV車、一人若しくは二人乗りの小型車両など、道路(高速道路や農道などを含む)を走行する車両全てに同様に適用できる。
1、10、20   運転席
2、11、21   フロントガラス
3、12、22   ワイパー
100   車両(乗用車)
102   ハンドル
110   画像表示部
111   表示ユニット
112   遮蔽板
120、120A  広角センサ部材
123-1,123-2  ベルト
124   回転変換部
125   駆動モータ
126   載置台
130   明度センサ
140-1、140-2  可視光広角センサ
150-1、150-2  赤外光広角センサ
160   操作部
170   広角センサ位置表示部
180-1   ランプ点滅部
180-2   ハザードランプ
180-3   ブレーキ作動部
180-4   ブレーキ
200,300  制御部
200M   メイン制御部
200S   サブ制御部
210,210M,210S,301  CPU
220,220M,220S  画像合成処理部
230,230M,230S  表示制御部
240,240M,340S  駆動制御部
250,304  切換制御部
260,260M,260S  センサ異常検知部

Claims (9)

  1. 車両の運転席前面部に画像表示部が設置されると共に、車両前方の道路状況を撮像する撮像手段が設けられており、前記画像表示部の画像表示面が車内側に配置され、前記撮像手段で撮像された撮像画像が前記画像表示面に表示され、前記画像表示面に表示された画像を見ながら運転若しくは走行するようになっているワイパーを具備しない車両であり、
    前記撮像手段が、メイン光学系を構成する第1の可視光センサ及び赤外光センサと、サブ光学系を構成する第2の可視光センサ及び赤外光センサとで成り、
    前記撮像手段が上下方向に調整可能であると共に、操作部により高さ調整できるようになっており、
    前記メイン光学系及び前記サブ光学系の画像合成処理を実施する画像処理手段により、前記画像表示面に前記撮像画像を表示するようになっている
    ことを特徴とするワイパーを具備しない車両。
  2. 前記画像処理手段が、前記メイン光学系の前記第1の可視光センサ及び赤外光センサの第1の画像合成処理と、前記サブ光学系の前記第2の可視光センサ及び赤外光センサの第2の画像合成処理とを実施する請求項1に記載のワイパーを具備しない車両。
  3. 前記画像処理手段が、前記メイン光学系の前記第1の可視光センサ及び赤外光センサの第1の画像合成処理を実施する第1の画像処理手段と、前記サブ光学系の前記第2の可視光センサ及び赤外光センサの第2の画像合成処理を実施する第2の画像処理手段と、前記第1の画像処理手段及び前記第2の画像処理手段を制御する制御部とで構成されている請求項1に記載のワイパーを具備しない車両。
  4. 前記撮像画像を記録するドライブレコーダの機能を具備している請求項1乃至3のいずれかに記載のワイパーを具備しない車両。
  5. 車両前方側に配置された遮蔽板及び車室側の運転席前面部に配置された表示ユニットで成り、車両の前面部に設置された画像表示部と、
    車両前方の道路状況を撮像する、メイン光学系を構成する第1の可視光センサ及び赤外光センサと、サブ光学系を構成する第2の可視光センサ及び赤外光センサとを有し、前記遮蔽板に設置されたセンサ部材と、
    前記第1の可視光センサ及び赤外光センサ並びに前記第2の可視光センサ及び赤外光センサからの各映像データを画像合成処理して、前記表示ユニットに撮像画像を表示する画像合成処理手段と、
    前記メイン光学系の異常を検知するセンサ異常検知部と、
    を備え、
    前記センサ部材は、前記第1の可視光センサ及び赤外光センサ並びに前記第2の可視光センサ及び赤外光センサの上方を覆う構造になっており、
    前記表示ユニットに表示された前記撮像画像を見ながら運転若しくは走行するようになっており、
    通常は前記メイン光学系を作動させ、前記センサ異常検知部が前記メイン光学系の異常を検知したとき、前記メイン光学系を前記サブ光学系に切り換えて作動させるようになっている
    ことを特徴とするワイパーを具備しない車両。
  6. 前記センサ部材が上下動可能になっており、車両室内に前記センサ部材の位置を表示するセンサ位置表示部が設けられており、前記車両室内に設けられている操作部により前記センサ部材の高さ位置を調整できるようになっている請求項5に記載のワイパーを具備しない車両。
  7. 前記サブ光学系に異常が発生したときに、ハザードランプを点滅させると共に、徐々にブレーキをかけるようになっている請求項5又は6に記載のワイパーを具備しない車両。
  8. 前記画像合成処理手段が、
    前記メイン光学系の第1の映像データを画像処理する第1の画像処理手段と、
    前記サブ光学系の第2の映像データを画像処理する第2の画像処理手段と、
    前記第1の画像処理手段及び前記第2の画像処理手段を制御すると共に、異常の発生を検知する機能を含む制御手段と、
    で構成されており、
    前記制御手段は、
    通常は前記メイン光学系及び前記第1の画像処理手段を作動させ、前記異常が検知されたとき、前記前記メイン光学系及び前記第1の画像処理手段を前記サブ光学系及び前記第2の画像処理手段に切り換えて作動させるようになっている請求項5乃至7のいずれかに記載のワイパーを具備しない車両。
  9. 前記画像表示部に表示される映像信号を記録するドライブレコーダの機能を備えている請求項5乃至8のいずれかに記載のワイパーを具備しない車両。
PCT/JP2021/021305 2020-12-25 2021-06-04 ワイパーを具備しない車両 WO2022137599A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/595,267 US20240034237A1 (en) 2020-12-25 2021-06-04 Vehicle having no wiper

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020216156 2020-12-25
JP2020-216156 2020-12-25
JP2021005570A JP6903287B1 (ja) 2020-12-25 2021-01-18 ワイパーを具備しない車両
JP2021-005570 2021-01-18

Publications (1)

Publication Number Publication Date
WO2022137599A1 true WO2022137599A1 (ja) 2022-06-30

Family

ID=76753185

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021305 WO2022137599A1 (ja) 2020-12-25 2021-06-04 ワイパーを具備しない車両

Country Status (3)

Country Link
US (1) US20240034237A1 (ja)
JP (2) JP6903287B1 (ja)
WO (1) WO2022137599A1 (ja)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS50124661A (ja) * 1973-05-31 1975-09-30
JPH11308609A (ja) * 1998-04-24 1999-11-05 Nissan Motor Co Ltd 表示処理装置
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
JP2002122397A (ja) * 2000-10-17 2002-04-26 Mitsubishi Heavy Ind Ltd 暗視装置
JP2005286577A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、表示方法、および車両
JP2007081787A (ja) * 2005-09-14 2007-03-29 Ds Ohnaka:Kk 監視装置
JP2008504597A (ja) * 2004-06-21 2008-02-14 トータルフェルスバレッツ フォルスクニングスインスティテュート 周辺界の画像を表示するための装置及び方法
JP2009071789A (ja) * 2007-09-18 2009-04-02 Denso Corp 車両周辺監視システム
US20120073896A1 (en) * 2009-03-26 2012-03-29 Gerhard Skoff Vehicle having articulated steering, in particular armored vehicle
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
JP2014197727A (ja) * 2013-03-29 2014-10-16 マツダ株式会社 車両用撮像装置
EP2913228A1 (en) * 2014-02-28 2015-09-02 Volvo Car Corporation Vehicle with sensor controlled vision
US20170315771A1 (en) * 2016-04-28 2017-11-02 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for selectively displaying images in an autonomous vehicle
JP2017206196A (ja) * 2016-05-20 2017-11-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2020023293A (ja) * 2018-08-08 2020-02-13 豊 川口 車両

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS50124661A (ja) * 1973-05-31 1975-09-30
JPH11308609A (ja) * 1998-04-24 1999-11-05 Nissan Motor Co Ltd 表示処理装置
JP2001344597A (ja) * 2000-05-30 2001-12-14 Fuji Heavy Ind Ltd 融合視界装置
JP2002122397A (ja) * 2000-10-17 2002-04-26 Mitsubishi Heavy Ind Ltd 暗視装置
JP2005286577A (ja) * 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd 撮像装置、表示方法、および車両
JP2008504597A (ja) * 2004-06-21 2008-02-14 トータルフェルスバレッツ フォルスクニングスインスティテュート 周辺界の画像を表示するための装置及び方法
JP2007081787A (ja) * 2005-09-14 2007-03-29 Ds Ohnaka:Kk 監視装置
JP2009071789A (ja) * 2007-09-18 2009-04-02 Denso Corp 車両周辺監視システム
US20120073896A1 (en) * 2009-03-26 2012-03-29 Gerhard Skoff Vehicle having articulated steering, in particular armored vehicle
JP2013247492A (ja) * 2012-05-25 2013-12-09 Konica Minolta Inc 物体検出装置
JP2014197727A (ja) * 2013-03-29 2014-10-16 マツダ株式会社 車両用撮像装置
EP2913228A1 (en) * 2014-02-28 2015-09-02 Volvo Car Corporation Vehicle with sensor controlled vision
US20170315771A1 (en) * 2016-04-28 2017-11-02 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for selectively displaying images in an autonomous vehicle
JP2017206196A (ja) * 2016-05-20 2017-11-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2020023293A (ja) * 2018-08-08 2020-02-13 豊 川口 車両

Also Published As

Publication number Publication date
JP2022103000A (ja) 2022-07-07
JP2022103017A (ja) 2022-07-07
JP6903287B1 (ja) 2021-07-14
US20240034237A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US11880200B2 (en) Perimeter sensor housings
EP2879912B1 (en) System and method for controlling exterior vehicle lights responsive to detection of a semi-truck
JP5694243B2 (ja) 自動車用撮像システムを備える障害物検出装置
CN111183063A (zh) 用于车辆的侧镜
JP7454674B2 (ja) 密着検知カメラシステム
CN105579289B (zh) 具有自身运动检测的成像系统和方法
US20140198213A1 (en) Imaging system and method for detecting fog conditions
US20180015879A1 (en) Side-view mirror camera system for vehicle
US9619720B2 (en) Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
RU2542835C1 (ru) Способ контроля "слепой зоны" боковых зеркал движущегося впереди автомобиля и устройство для его осуществления
US9511708B2 (en) Method and system for imaging an external scene by employing a custom image sensor
JP2008137494A (ja) 車両用視界支援装置
JP3639008B2 (ja) ワイパ制御装置
WO2022137599A1 (ja) ワイパーを具備しない車両
CN112744159B (zh) 车辆及其后视显示装置以及后视显示装置的控制方法
CN111655541B (zh) 用于工业车辆的驾驶员辅助系统
US20140153782A1 (en) Imaging system and method for detecting a winding road
JP2021169301A (ja) ワイパーを具備しない電車
CN109109743B (zh) 基于摄像的模块化电子外后视镜系统及使用方法、商用车

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21909760

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 17595267

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21909760

Country of ref document: EP

Kind code of ref document: A1