WO2020129278A1 - 移動体周辺監視装置 - Google Patents

移動体周辺監視装置 Download PDF

Info

Publication number
WO2020129278A1
WO2020129278A1 PCT/JP2019/023028 JP2019023028W WO2020129278A1 WO 2020129278 A1 WO2020129278 A1 WO 2020129278A1 JP 2019023028 W JP2019023028 W JP 2019023028W WO 2020129278 A1 WO2020129278 A1 WO 2020129278A1
Authority
WO
WIPO (PCT)
Prior art keywords
image pickup
panoramic
lens
optical axis
light
Prior art date
Application number
PCT/JP2019/023028
Other languages
English (en)
French (fr)
Inventor
憲市 本田
Original Assignee
立山科学工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 立山科学工業株式会社 filed Critical 立山科学工業株式会社
Priority to CN201980072655.0A priority Critical patent/CN113039485A/zh
Publication of WO2020129278A1 publication Critical patent/WO2020129278A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/18—Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B17/00—Systems with reflecting surfaces, with or without refracting elements
    • G02B17/08—Catadioptric systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a device for monitoring the periphery of a moving body such as a vehicle, which uses a wide-angle imaging lens to simultaneously image a wider field of view.
  • this panoramic image pickup lens is formed of a light-transmissive material such as optical glass so as to be rotationally symmetrical about the optical axis that is the center of the lens.
  • the panoramic imaging lens is formed into a ring-shaped light incident surface on which light is incident from the entire circumference of 360° and a first reflecting surface that is adjacent to the light incident surface and substantially opposes, and reflects light into the lens.
  • a second reflecting surface that is provided in the center of the ring of the light incident surface and that reflects the reflected light from the first reflecting surface toward the inner portion of the ring of the first reflecting surface.
  • a light emitting surface that transmits light from the second reflecting surface is formed at a position facing the second reflecting surface in a center portion inside the ring that is an inner portion of the ring of the first reflecting surface.
  • the ring-shaped light incident surface is formed in a convex lens shape
  • the first reflecting surface facing the light incident surface is formed in a convex shape swelling sideways
  • the inner surface of the lens of the first reflecting surface is the second reflecting surface. It is the reflecting surface of an annular concave mirror facing the direction of.
  • the second reflecting surface located on the center side of the light incident surface is formed in a concave shape, and the inner surface of the lens serves as the reflecting surface of the convex mirror.
  • the light emitting surface is formed into a concave surface, a convex surface, or a flat surface depending on the intended use.
  • a panoramic image pickup apparatus using this panoramic image pickup lens includes a panoramic image pickup lens unit including an image forming relay lens and a lens holder provided on an optical axis of the panoramic image pickup lens, a case (not shown), and the like. It consists of a fixed camera. Then, the 360° panoramic view captured by the panoramic imaging lens is imaged as an annular image on the imaging element in the imaging device, converted into an electrical signal, and displayed on various monitor devices. Since the image is circular and has a polar coordinate system, it is finally converted into a rectangular coordinate system by an image processing device such as a computer (not shown) and displayed as a developed panoramic image.
  • an image processing device such as a computer (not shown) and displayed as a developed panoramic image.
  • Patent Document 2 has a large number of cameras arranged around the vehicle, displays a camera image in the driver's viewing direction on a monitor, and eliminates blind spots around the vehicle.
  • Patent Documents 3, 4, and 5 the vicinity of a vehicle provided with a prism or a plurality of mirrors that are arranged in front of a camera lens, divide a visual field direction, and guide images in different directions to a camera. Monitoring devices have also been proposed. As a result, the field of view taken by one camera is increased, the surroundings of the vehicle can be monitored in a wider area, and the blind spot around the vehicle is reduced.
  • the panoramic imaging device disclosed in Patent Document 1 is an optical system that has a field of view of 360° but cannot capture a distant image in the optical axis direction, which is the center of the lens. Normally, the optical axis is in the vertical direction. Used as a device to monitor 360° in the horizontal direction. Therefore, it is not used in a monitoring device that monitors the side, the lower side, or the rear of the vehicle.
  • the vehicle periphery monitoring device disclosed in Patent Document 2 is not a practical vehicle monitoring device because it uses a large number of cameras and the device is complicated and costly. Further, the optical system used in the vehicle periphery monitoring device disclosed in Patent Documents 2 to 5 uses a wide-angle lens having a wide angle of view and a prism or a mirror to enable a visual field in a plurality of directions.
  • the angle of view of a wide-angle lens is relatively wide, but if it is divided and displayed, the field of view in one direction is narrow, and a single camera can effectively monitor a wide range of the vehicle. It is not a device.
  • the present invention has been made in view of the background art described above, and an object of the present invention is to provide a mobile body surrounding area monitoring device capable of monitoring a wide range around a mobile body such as a vehicle with a simple configuration.
  • the present invention is a panorama having a light incident surface which is formed of a light-transmissive material, is formed rotationally symmetrical about the optical axis of the lens center, and can receive light from the surroundings orthogonal to the optical axis.
  • An imaging lens, an imaging element that captures an image formed by being incident on the panoramic imaging lens, and a light that is disposed between the panoramic imaging lens and the imaging element and that enters the panoramic imaging lens is coupled to the imaging element.
  • a panoramic imaging device having an imaging optical system for forming an image the panoramic imaging device is arranged in one direction around the optical axis of the panoramic imaging device, and the light from the periphery of the optical axis is reflected by the panoramic imaging lens. It is a mobile body surroundings monitoring device provided with a reflecting mirror that guides a part of the incident surface.
  • the panoramic imaging lens is formed rotationally symmetrical about the optical axis of the lens center, and the light incident surface is formed in a convex lens shape so that light from the periphery of the optical axis can enter, and opposes the light incident surface.
  • a first reflecting surface is formed in a part of the surface of the panoramic imaging lens in an annular shape, and is bulged outward so as to reflect light into the panoramic imaging lens and formed into a concave mirror shape.
  • On the surface of the panoramic imaging lens in the center of the ring of the light incident surface there is a convex mirror-shaped second reflecting surface that reflects the reflected light from the first reflecting surface toward the inner part of the ring of the first reflecting surface.
  • a light emitting surface is provided in the center of the inside of the first reflecting surface, which faces the second reflecting surface and transmits the light from the second reflecting surface.
  • the panoramic imaging lens is formed so that light of the entire 360° of the optical axis can enter the light incident surface.
  • At least one of the direction of the optical axis of the panoramic image pickup lens and the image pickup optical system and the direction included in the range of the viewing angle of the reflecting mirror is provided so as to coincide with a horizontal direction or less, and the panoramic image pickup lens is provided. Is incident on the lower and both sides orthogonal to the optical axis and the image in the viewing angle direction of the reflecting mirror.
  • a display device for displaying an image around the optical axis captured by the reflecting mirror and another image incident on the image pickup device, and processing the images. At least one of the image processing devices is provided.
  • the display device displays an image on the side in the horizontal direction of the panoramic image pickup device, an image below, and an image around the optical axis in one display screen.
  • the panoramic imaging device is arranged in front of or behind a moving body such as a vehicle so that the front or rear of the moving body can be monitored. Further, the panoramic imaging device may be arranged on the side of the moving body so that the side of the moving body and the front or the rear can be monitored. Further, the panoramic image pickup device may be arranged at at least one of the corners of the front and rear of the moving body so that the side and front and/or rear of the moving body can be monitored.
  • the surroundings of the mobile body can be monitored in a wider range with a simple device, which eliminates the blind spot of the driver of the mobile body and contributes to safe driving.
  • a panoramic imaging lens capable of shooting a wide range around the optical axis an unnecessary part of the shooting range is used for shooting an image in another direction using a reflecting mirror, It enables a wide range of monitoring required with a single image sensor.
  • the number of panoramic image pickup devices to be installed can be minimized by devising the arrangement in the front and rear or at the corners of the moving body.
  • FIG. 2A is a schematic diagram showing a shooting range in a state where the panoramic image pickup apparatus of this embodiment is arranged behind a moving body
  • FIG. 6B is a schematic diagram showing a shooting range in a state where the panoramic image pickup apparatus is arranged on a side of the moving body.
  • FIG. 6B is a schematic diagram which shows the cyclic
  • FIG. 1 It is a schematic diagram which shows the display method which image-processes the cyclic
  • the top view (a) which shows the other example of the vehicle which attached the moving body periphery monitoring apparatus of this embodiment, and the schematic diagram (b) which shows the imaging range in the state which has arrange
  • a panoramic image pickup device 10 used in a moving body peripheral monitoring device is formed of optical glass or a transparent resin for a lens, and has a lens center.
  • the panoramic image pickup lens 12 is formed so as to be rotationally symmetrical about the optical axis x.
  • the directions of the optical system and the space are the horizontal directions in the X-axis direction, and in this embodiment, they coincide with the optical axis x direction.
  • the horizontal direction orthogonal to the X axis is the Y axis direction
  • the vertical direction orthogonal to the X axis and the Y axis is the Z axis direction.
  • the panoramic imaging lens 12 is a ring-shaped light into which the incident light L from the side is incident within the range of the angle of view ⁇ on the surface on the optical axis x from the entire circumference of 360° so that the visual field of 360° can be imaged at one time. It has an entrance surface 14.
  • the angle of view ⁇ is set in the range of 40° to 80°, for example, in the range of ⁇ 15° to 35° with respect to the direction orthogonal to the optical axis x of the panoramic imaging lens 12.
  • the ring-shaped light incident surface 14 is formed in a convex lens shape with a bulged surface.
  • the panoramic imaging lens 12 has an annular first reflecting surface 16 that reflects the incident light L incident from the light incident surface 14 into the panoramic imaging lens 12 at a predetermined distance from the light incident surface 14.
  • a second reflection surface 18 that reflects the reflected light R from the first reflection surface 16 toward the inside of the ring of the first reflection surface 16 is panoramic imaged. It is provided in the center of the ring of the light incident surface 14 with the optical axis x of the lens 12 as the center.
  • the first reflecting surface 16 is formed in a ring shape on the surface of the panoramic imaging lens 12 at a position facing the light incident surface 14, and the surface of the panoramic imaging lens 12 is formed as a convex surface that bulges outward.
  • the inner surface side of the panoramic imaging lens 12 of the first reflection surface 16 is a reflection surface of an annular concave mirror facing the direction of the second reflection surface 18.
  • the second reflecting surface 18 is formed as a concave surface, and the inner surface side of the panoramic imaging lens 12 is formed as a reflecting surface of a convex mirror.
  • the first reflecting surface 16 and the second reflecting surface 18 are mirror surfaces formed by forming a metal thin film on the surface of the panoramic imaging lens 12 by aluminum vapor deposition or the like.
  • a light emitting surface 20 that transmits light from the second reflecting surface 18 is formed at a position facing the second reflecting surface 18 in the center of the ring-shaped first reflecting surface 16 inside the ring.
  • the light emitting surface 20 is formed in a concave surface, a convex surface, or a flat surface according to the optical system.
  • the surface shapes of the light incident surface 14, the first reflecting surface 16, and the second reflecting surface 18 are spherical surfaces so that a 360° panoramic image incident from the light incident surface 14 can be obtained via the light emitting surface 20. It is formed in an aspherical shape set by a predetermined formula.
  • the panoramic image pickup lens 12 is provided with an image forming relay lens 22 which is an image pickup optical system provided on the optical axis x so as to face the light emitting surface 20, and is held by a lens holder (not shown). Not provided in the housing.
  • An image pickup element 24 made of a semiconductor such as CMOS is provided at the image forming position of the relay lens 22, and constitutes the panoramic image pickup apparatus 10.
  • the image formed on the image sensor 24 is captured as a circular panoramic image in a concentric polar coordinate system, as shown in FIG. 5, so the image processing device (not shown) image-processes the circular panoramic image to obtain orthogonal coordinates. After being converted into a system image, it is displayed as a monitor image 34 on the display device 26 as shown in FIG. 6, for example.
  • incident light L from the side of the optical axis x of the panoramic image pickup lens 12 is provided in a predetermined direction on the light incident surface 14 of the panoramic image pickup lens 12.
  • the reflecting mirror 28 that guides a part of the range, for example, a range of about 90° out of the range of 360° to the light incident surface 14 is provided.
  • the direction of the reflecting mirror 28 is set at a predetermined angle ⁇ , for example, with respect to the optical axis x direction so that light in a direction close to the optical axis x direction of the panoramic imaging lens 12 is incident on the light incident surface 14 of the panoramic image pickup lens 12.
  • ⁇ 20° to 50°.
  • At least one of the optical axis x direction of the panoramic imaging lens 12 and the relay lens 22 and the direction included in the range of the viewing angle ⁇ of the reflecting mirror 28 on the XZ plane including the Z axis direction which is the vertical direction. are provided so as to coincide with the horizontal X-axis direction.
  • the panoramic imaging lens 12 has a viewing angle ⁇ in the downward direction orthogonal to the optical axis x of the panoramic imaging lens 12, on both sides in the Y-axis direction in the horizontal direction, and in the vertical direction of the reflecting mirror 28. Further, as shown in FIG. 2 described later, light from a subject in a direction that falls within the range of the horizontal viewing angle ⁇ enters.
  • the viewing angle ⁇ of the reflecting mirror 28 and the viewing angle ⁇ of the reflecting mirror 28 in a plane orthogonal to the surface that determines the viewing angle ⁇ and parallel to the optical axis x are the size of the reflecting mirror 28 and It is appropriately set depending on the curvature.
  • the reflecting mirror 28 causes the light in the range intersecting the optical axis x direction of the panoramic imaging lens 12 at an acute angle of approximately 45° or less to enter the panoramic imaging lens 12. Is installed as.
  • the type of the vehicle 30, which is a moving body, does not matter, and although the drawings show one-box type passenger cars, large buses, trucks, excavators, bulldozers, crane trucks, other civil engineering machines, industrial vehicles, etc. It may be a forklift truck, a tractor or the like, and can be used by being attached to an appropriate moving body such as various manned or unmanned carts.
  • the mobile body surroundings monitoring device is equipped with the panoramic imaging device 10 on the rear portion 30a where the driver's blind spot occurs in the vehicle 30, and the image processing device and the display device 26 are installed at appropriate positions in the vehicle (not shown).
  • the image processing device may be provided in an external host computer connected to the vehicle 30 via a network, and converts an annular panoramic image of a polar coordinate system into an image of a rectangular coordinate system, and also humans, animals, and various other objects. It is also possible to perform information processing for detecting the information, or processing for positioning the vehicle using optical beacons and SLAM technology.
  • the panoramic imaging device 10 may be appropriately attached to the inside or the lower portion of the side mirror 32 on the side opposite to the driver's seat of the vehicle 30 and other side surfaces.
  • the optical axis x of the panoramic imaging lens 12 is attached to each panoramic imaging device 10 in the horizontal direction.
  • the range that can be monitored by the panoramic imaging device 10 will be described based on FIG.
  • the range of the vertical viewing angle ⁇ and the horizontal viewing angle ⁇ of the reflecting mirror 28 is within the range of the traveling of the vehicle 30.
  • the direction is Fw, it is possible to monitor a range of a visual field of 90° vertically and horizontally behind the vehicle 30.
  • the monitoring range ⁇ other than the part where the light from the reflecting mirror 28 enters can be 180° or more, for example, a range of about 250°. Therefore, the monitoring range ⁇ can be monitored by the angle of view ⁇ of the panoramic imaging device 10.
  • the rear portion 30a of the vehicle 30 When the panoramic imaging device 10 is attached to the rear portion 30a of the vehicle 30, the rear portion including the optical axis x direction, the left and right directions of the rear portion 30a of the vehicle 30 in the Y-axis direction, and the left and right diagonally upwards, and the Z-axis direction of the rear portion 30a. It is possible to monitor the monitoring range ⁇ including the situation below.
  • the panoramic imaging device 10 is attached to the side mirror 32 that is on the side of the vehicle 30, as shown in FIG. 4B, the vertical viewing angle ⁇ and the horizontal viewing angle ⁇ of the reflecting mirror 28.
  • the optical axis x is located on the side orthogonal to the traveling direction Fw of the vehicle 30, and it is possible to monitor the range of the visual field of 90° vertically and horizontally, for example.
  • the Y-axis direction that is orthogonal to the optical axis x direction, it is the front-rear direction on the side where the side mirror 32 is provided, and the front-rear direction and the front-rear diagonally upward direction in the Y-axis direction, which is the traveling direction Fw of the vehicle, and the side-mirror 32.
  • the monitoring range ⁇ can be set to a range of 180° or more, for example, about 250°.
  • the monitoring image 34 displayed on the display device 26 is captured by the image sensor 24 as the circular panoramic image 36 of the circular polar coordinate system shown in FIG. 5, and thus the captured image of the polar coordinate system is processed by the image processing device. Then, as shown in FIG. 6, the distortion is corrected as a rectangular coordinate system monitor image 34 and displayed on a square display screen of the display device 26.
  • the annular panoramic image 36 shown in FIG. 5 has left and right side images 36a and 36b and the rear portion 30a of the vehicle 30. Lower images 36c of the lower part of the image are continuously captured. Further, in the range of the viewing angle ⁇ and the viewing angle ⁇ of approximately 90° above the panoramic image 36, the light is reflected by the reflecting mirror 28 and is incident on the light incident surface 14 of the panoramic image pickup lens 12 in a substantially horizontal direction at a rear distance. The rear distant image 36d is captured.
  • the panoramic image 36 shown in FIG. 5 taken by the image pickup device 24 of the panoramic image pickup device 10 is converted by the image processing device (not shown) into the monitor image 34 of the orthogonal coordinate system shown in FIG. 6 and displayed on the display device 26. It In the displayed monitoring image 34, left and right side images 34a and 34b are displayed on both sides, and a lower image 34c of the rear portion 30a of the vehicle 30 is displayed separately. Further, the rear far image 36d reflected by the reflecting mirror 28 in the range of approximately 90° above the panoramic image 36 shown in FIG. 5 is displayed as the rear far image 34d shown in FIG.
  • the left and right side images 34a and 34b of the panoramic image 36 and the lower image 34c are consecutively displayed.
  • the left and right side images 38a and 38b may be displayed, and the image reflected by the reflecting mirror 28 may be displayed large as the rear far image 38c between the side images 38a and 38b.
  • the panoramic imaging device 10 capable of capturing a 360° range, and it is necessary to use the 360° range.
  • a necessary area of the image can be made incident on the panoramic imaging lens 12 by using the reflecting mirror 28, and an extremely wide range around the vehicle 30 can be monitored by the single panoramic imaging device 10. Is.
  • the rear portion 30a of the vehicle 30 is provided, on the left and right sides of the rear portion 30a in the Y-axis direction, there are 180° or more including diagonally upper left and right sides including the horizontal direction orthogonal to the optical axis x direction and lower portions in the Z-axis direction.
  • the rear of the vehicle 30 can be monitored by the angle of view ⁇ of the panoramic imaging lens 12 in the monitoring range ⁇ . Further, it is possible to reliably monitor the range in the optical axis x direction and in the rear far side in the horizontal X-axis direction with the viewing angles ⁇ and ⁇ . Also, when the side mirror 32 is provided with the panoramic imaging device 10, similarly, the panoramic imaging is performed in the monitoring range ⁇ of 180° or more including diagonally upward in the Y-axis direction which is the front-back direction of the side mirror 32 and downward in the Z-axis direction. The front-back direction of the vehicle 30 can be monitored by the angle of view ⁇ of the lens 12. Further, it is possible to reliably monitor the range of the side mirror 32 on the lateral side in the X-axis direction, which is the optical axis x direction of the panoramic imaging device 10, with the viewing angles ⁇ and ⁇ .
  • the moving object surroundings monitoring device of the present invention is not limited to the above-described embodiment, and as shown in FIGS. 8A and 8B, the panoramic imaging device 10 is mounted on the corner portion of the rear portion 30a of the vehicle 30.
  • the panoramic imaging device 10 is mounted on the corner portion of the rear portion 30a of the vehicle 30.
  • the range reflected on the reflecting mirror 28 can be monitored behind the rear portion 30a and laterally in the front-rear horizontal direction of the vehicle 30, respectively, and the two panoramic imaging devices 10 can be used to cover the entire rear portion of the rear portion 30a of the vehicle 30.
  • the optical axis x direction of the panoramic imaging lens 12 is arranged at the corner of the rear portion 30a of the vehicle 30 so as to face the intermediate direction between the horizontal X axis and the Y axis direction, and is oblique to the XY plane.
  • the corner portion of the rear portion 30a is monitored at the angle of view ⁇ within a monitoring range ⁇ of 180° or more below the Z axis direction.
  • the optical axis x direction which is an intermediate direction between the horizontal X-axis and the Y-axis, it is possible to reliably monitor the rear side range with the viewing angles ⁇ and ⁇ .
  • At least three cameras front, rear, left, and right are usually required, but only two panoramic image pickup devices 10 are provided, and the left and right sides of the vehicle 30 and the rear upper and lower sides. Also, it becomes possible to reliably monitor the entire range in the rear and the distance, and it is possible to easily enhance the safety such as driving the vehicle.
  • the configuration of the invention of the present application can be appropriately selected.
  • the panoramic imaging device 10 is provided at a front corner of the vehicle 30 to capture an image. It is possible to monitor the front and back in a horizontal direction of 180° or more, downward and forward. Further, by providing the panoramic image pickup device 10 on the side of the vehicle 30 to take an image, the side of the vehicle 30 can be monitored in the front-rear direction in the horizontal and downward directions of 180° or more, and in the front. Further, a panoramic image pickup device may be provided on the rear side and both side surfaces of the moving body to monitor the surroundings of the moving body by three panoramic image pickup devices, and the number of units to be installed and the monitoring direction can be appropriately selected. Is.
  • the optical axis x direction of the panoramic imaging lens 12 and the relay lens 22 can be set appropriately according to the application.
  • the optical axis x direction is equal to or smaller than the horizontal direction, assuming that the maximum incident angle on the second reflecting surface 18 side of the light incident surface 14 of the panoramic imaging lens 12 is the elevation angle, the direction of the elevation angle is directed right below the vertical direction.
  • the direction of the optical axis x can be appropriately set within a range up to this position.
  • the optical axis x direction is above the horizontal direction, and in the light incident surface 14 of the panoramic image pickup lens 12, when the maximum incident angle on the first reflecting surface 14 side is the depression angle, the depression angle is directly below the vertical direction.
  • the direction of the optical axis x can be set as appropriate within a range up to the position facing.
  • the reflecting mirror may be an optical element using a prism in addition to the one having a mirror surface, and the mirror surface may be not only a plane mirror but also a concave mirror or a convex mirror regardless of the type and material.
  • the arrangement position and the horizontal angle of the optical axis when installed are appropriately set, and the material and the viewing angle can also be appropriately selected.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Lenses (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、光軸に対して直交する３６０°全周から側方の光が入射可能な光入射面１４を有したパノラマ撮像レンズ１２を備える。パノラマ撮像レンズ１２に入射して形成された画像３６をとらえる撮像素子２４と、パノラマ撮像レンズ１２と撮像素子２４との間に配置されパノラマ撮像レンズ１２に入射した光を撮像素子２４に結像させるリレーレンズ２２とを有したパノラマ撮像装置１０を備える。パノラマ撮像装置１０の３６０°の視野の一方向に配置され、光軸方向周辺からの光をパノラマ撮像レンズ１２の光入射面１４の一部に導く反射鏡２８を備え、簡単な構成で、移動体の周囲の広い範囲を監視することができる移動体周辺監視装置を提供する。

Description

移動体周辺監視装置
　この発明は、広角の撮像レンズを用いて、より広範囲の視野方向を同時に撮影する車両等の移動体周辺監視装置に関する。
　従来、３６０°のパノラマ撮影可能な光学系として、特許文献１に開示されているように、レンズの周囲３６０°の視界を一度に撮影できるパノラマ撮像レンズがある。このパノラマ撮像レンズは、特許文献１にあるように、光学ガラス等の光透過性の素材により、レンズの中心である光軸回りに回転対称に形成されている。パノラマ撮像レンズは、３６０°全周から光が入射する環状の光入射面と、この光入射面と隣接し略対向するようにして環状に形成され、レンズ内へ光を反射する第一反射面と、光入射面の環内の中央部に設けられ第一反射面からの反射光を第一反射面の環の内側部分に向けて反射する第二反射面を備えている。第一反射面の環の内側部分である環内中央部には、第二反射面と対向する位置に、第二反射面からの光を透過する光出射面が形成されている。
　環状の光入射面は、凸レンズ状に形成され、光入射面に対向した第一反射面は、側方に膨らんだ凸面状に形状され、第一反射面のレンズの内面が、第二反射面の方向を向いた環状の凹面鏡の反射面となっている。光入射面の中心側に位置した第二反射面は、凹面状に形成され、レンズの内面が凸面鏡の反射面となっている。また、光出射面は、適宜用途に応じて、凹面や凸面又は平面状に形成されている。
　このパノラマ撮像レンズを用いたパノラマ撮像装置は、その光軸上に設けられた結像用のリレーレンズとレンズホルダ、及び図示しないケース等から成るパノラマ撮像レンズユニットと、このパノラマ撮像レンズユニットが取り付けられたカメラから成る。そして、パノラマ撮像レンズによりとらえられた３６０°のパノラマ風景は、撮像装置内の撮像素子に環状の画像として結像し、電気信号に変換されて、各種モニタ装置に映し出される。画像は、環状であり極座標系の画像であるので、最終的には図示しないコンピュータ等の画像処理装置により直交座標系に座標変換されて、展開パノラマ画像として表示される。
　一方、各種車両の運行の安全を担保するために、車両に取り付けられその周辺を監視するカメラを備えた車両周辺監視装置が種々提案されている。特許文献２に開示された装置は、多数のカメラを車両の周囲に配置し、ドライバの視認方向のカメラ画像をモニタに表示し、車両周辺の死角をなくすようにしたものである。
　また、特許文献３，４，５に開示されているように、カメラレンズの前方に配置され、視野方向を分割して、異なる方向の画像をカメラに導くプリズムや複数のミラーを設けた車両周辺監視装置も提案されている。これにより、一つのカメラで撮影する視野方向を増やし、より広範囲に車両周辺の監視を可能にし、車両の周囲の死角を減らしている。
特開２００３－１６７１９３号公報 特開２００５－１３６５６１号公報 特開２００４－１０４４７６号公報 特開２００９－１８４５５７号公報 特開２０１１－５９３０号公報
　上記特許文献１に開示されたパノラマ撮像装置は、３６０°の視野を有するが、レンズの中心である光軸方向の遠方画像をとらえることができない光学系であり、通常は光軸を鉛直方向に向けて、水平方向の３６０°を監視する装置として使用される。従って、車両の側方や下方、後方を監視する監視装置には用いられていないものである。
　特許文献２に開示された車両周辺監視装置は、使用するカメラの数が多く、装置が複雑でコストもかかるものであり、実用的な車両用監視装置ではない。さらに、特許文献２～５に開示された車両周辺監視装置に用いられる光学系は、画角の広い広角レンズとプリズムやミラーを用いて、複数方向の視野を関し可能にしたものであるが、広角レンズの画角は比較的広いと言っても限られており、これを分割して表示すると、１方向の視野は狭いものとなり、単一のカメラで効果的に車両の広い範囲を監視可能な装置ではない。
　この発明は、上記背景技術に鑑みてなされたもので、簡単な構成で、車両等の移動体周辺の広い範囲を監視することができる移動体周辺監視装置を提供することを目的とする。
　この発明は、光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、前記光軸に対して直交する周囲からの光が入射可能な光入射面を有したパノラマ撮像レンズと、前記パノラマ撮像レンズに入射して形成された画像をとらえる撮像素子と、前記パノラマ撮像レンズと前記撮像素子との間に配置され前記パノラマ撮像レンズに入射した光を前記撮像素子に結像させる撮像光学系とを有したパノラマ撮像装置を備え、前記パノラマ撮像装置の前記光軸の周囲の視野の一方向に配置され、前記光軸方向周辺からの光を前記パノラマ撮像レンズの前記光入射面の一部に導く反射鏡を備えた移動体周辺監視装置である。
　前記パノラマ撮像レンズは、レンズ中心の光軸回りに回転対称に形成され、前記光入射面は、前記光軸の周囲からの光が入射可能に凸レンズ状に形成され、前記光入射面と互いに対向する位置には前記パノラマ撮像レンズ表面の一部に環状に形成され、前記パノラマ撮像レンズ内へ光を反射するように外方に膨らんで凹面鏡状に形成された第一反射面が設けられ、前記光入射面の環内の中央部の前記パノラマ撮像レンズ表面には前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面が設けられ、前記第一反射面の環内中央部には前記第二反射面と対向して位置し前記第二反射面からの光を透過する光出射面を備えるものである。特に、前記パノラマ撮像レンズは、前記光軸の３６０°全周の光を前記前記光入射面に入射可能に形成されている。
　前記パノラマ撮像レンズ及び前記撮像光学系の前記光軸の方向と、前記反射鏡の視野角の範囲に含まれる方向の少なくとも一方が、水平方向以下の方向に一致して設けられ、前記パノラマ撮像レンズには、前記光軸に対して直交する下方と両側方及び前記反射鏡の前記視野角方向の画像が入射するものである。
　前記撮像素子に入射した画像のうち、前記反射鏡でとらえられた前記光軸方向周辺の画像と、前記撮像素子に入射した他の画像とを、各々表示する表示装置及びそれらの画像を処理する画像処理装置の少なくとも一方を備えたものである。前記表示装置は、前記パノラマ撮像装置の水平方向側方の画像、下方の画像、及び前記光軸方向周辺の画像を一つの表示画面に表示するものである。
　特に、前記パノラマ撮像装置を車両等の移動体の前方又は後方に配置して、前記移動体の前方又は後方を監視可能にしたものである。また、前記パノラマ撮像装置を移動体の側方に配置して、前記移動体の側方と、前方又は後方を監視可能にしたものでも良い。さらに、前記パノラマ撮像装置を移動体の前方及び後方の少なくなくとも何れかの角部に配置し、移動体の側方と前方及び／又は後方を監視可能にしたものでも良い。
　この発明の移動体周辺監視装置によれば、簡単な装置で移動体の周囲をより広範囲に監視することができ、移動体の運転者の死角を無くし、安全な運転に貢献するものである。特に、光軸の周囲の広い範囲を撮影可能なパノラマ撮像レンズを用いて、その撮影範囲の不用な部分を、反射鏡を用いて他の方向の画像の撮影に利用しているものであり、一つの撮像素子で必要な広範囲の監視を可能にする。更に、移動体の前後または角部のでの配置を工夫することにより、パノラマ撮像装置の設置数も最小限にすることができる。
この発明の一実施形態の移動体周辺監視装置の光学系の概略を示す図である。 この実施形態の移動体周辺監視装置を取り付けた車両の平面図である。 この実施形態の移動体周辺監視装置を取り付けた車両の側面図である。 この実施形態のパノラマ撮像装置を移動体後方に配置した状態の撮影範囲を示す模式図（ａ）と、移動体側方に配置した状態の撮影範囲を示す模式図（ｂ）である。 この実施形態の移動体周辺監視装置によりパノラマ撮影した環状パノラマ画像を示す模式図である。 この実施形態の移動体周辺監視装置によりパノラマ撮影した環状パノラマ画像を画像処理して表示装置に表示する表示方法を示す模式図である。 この実施形態の移動体周辺監視装置により撮像したパノラマ画像の他の表示例を示す模式図である。 この実施形態の移動体周辺監視装置を取り付けた車両の他の例を示す平面図（ａ）と、このパノラマ撮像装置を移動体の角部に配置した状態の撮影範囲を示す模式図（ｂ）である。
　以下この発明の実施の形態について図面に基づいて説明する。図１～図６はこの発明の一実施形態を示すもので、この実施形態の移動体周辺監視装置に用いられるパノラマ撮像装置１０は、光学ガラスやレンズ用の透明樹脂等で形成され、レンズ中心の光軸ｘ回りに回転対称に形成されたパノラマ撮像レンズ１２を備えている。以下、光学系及び空間の方向をＸＹＺの直交座標系において、Ｘ軸方向を水平方向とし、この実施形態では光軸ｘ方向と一致している。さらに、Ｘ軸と直交した水平方向をＹ軸方向とし、Ｘ軸及びＹ軸と直交する垂直方向をＺ軸方向とする。
　パノラマ撮像レンズ１２は、３６０°の視界を一度に撮像できるように３６０°全周から、光軸ｘ上の面における画角θの範囲で、側方からの入射光Ｌが入射する環状の光入射面１４を有する。画角θは、４０°～８０°の範囲で、パノラマ撮像レンズ１２の光軸ｘに対して直交する方向に対して、例えば－１５°～３５°の範囲に設定されている。環状の光入射面１４は、表面が膨出した凸レンズ状に形成されている。さらに、パノラマ撮像レンズ１２は、光入射面１４に対して所定の間隔を隔てて、光入射面１４から入射した入射光Ｌを、パノラマ撮像レンズ１２内へ反射する環状の第一反射面１６を有する。環状の光入射面１４の環内中央部には、第一反射面１６からの反射光Ｒを、第一反射面１６の環の内側部分に向けて反射する第二反射面１８が、パノラマ撮像レンズ１２の光軸ｘを中心に、光入射面１４の環内中央部に設けられている。
　第一反射面１６は、パノラマ撮像レンズ１２の表面の光入射面１４と対向する位置に環状に形成され、パノラマ撮像レンズ１２の表面が外側に膨らんだ凸面に形成されている。第一反射面１６は、パノラマ撮像レンズ１２の内面側が、第二反射面１８の方向を向いた環状の凹面鏡の反射面となっている。第二反射面１８は、凹面に形成されパノラマ撮像レンズ１２の内面側が、凸面鏡の反射面として形成されている。第一反射面１６及び第二反射面１８は、パノラマ撮像レンズ１２の表面にアルミニウム蒸着等により金属薄膜を形成して鏡面にしたものである。
　環状の第一反射面１６の環内中央部には、第二反射面１８と対向する位置に、第二反射面１８からの光を透過する光出射面２０が形成されている。光出射面２０は、光学系に合わせて凹面、凸面又は平面状に形成される。光入射面１４、第一反射面１６、及び第二反射面１８の各表面形状は、光入射面１４から入射した３６０°のパノラマ画像が、光出射面２０を経て得られるように、球面又は所定の式で設定される非球面形状に形成されている。
　パノラマ撮像レンズ１２は、その光軸ｘ上に位置し光出射面２０と対向して設けられた撮像光学系である結像用のリレーレンズ２２を備え、図示しないレンズホルダにより保持され、さらに図示しない筐体内に設けられている。リレーレンズ２２の結像位置には、ＣＭＯＳ等の半導体による撮像素子２４が設けられ、パノラマ撮像装置１０を構成している。撮像素子２４上に結像した画像は、図５に示すように、同心円状の極座標系の環状パノラマ画像として撮像されるので、図示しない画像処理装置により環状パノラマ画像が画像処理されて、直交座標系の画像に変換されて、例えば図６に示すように表示装置２６に監視画像３４として映し出される。
　さらに、パノラマ撮像装置１０の視野の一方向には、図１に示すように、パノラマ撮像レンズ１２の光軸ｘ方向側からの入射光Ｌを、パノラマ撮像レンズ１２の光入射面１４の所定の一部の範囲、例えば３６０°の範囲の内の９０°程度の範囲を、光入射面１４に導く反射鏡２８を備える。反射鏡２８の向きは、パノラマ撮像レンズ１２の光軸ｘ方向に近い方向の光をパノラマ撮像レンズ１２の光入射面１４に入射させるように、光軸ｘ方向に対して所定の角度α、例えばα＝２０°～５０°程度に配置される。
　この実施形態では、パノラマ撮像レンズ１２及びリレーレンズ２２の光軸ｘ方向と、反射鏡２８の、上下方向であるＺ軸方向を含むＸＺ平面上の視野角βの範囲に含まれる方向の少なくとも一方が、水平方向のＸ軸方向に一致して設けられている。これにより、パノラマ撮像レンズ１２には、パノラマ撮像レンズ１２の光軸ｘに対して直交する下方と、Ｙ軸方向における±の水平方向の両側方、及び反射鏡２８の上下方向の視野角β、及び後述する図２に示すように、水平方向の視野角γの範囲内に入る方向の被写体からの光が入射する。なお、反射鏡２８の視野角β、及び視野角βを決定する面と直交する面内であり、光軸ｘと平行な面内における反射鏡２８の視野角γは、反射鏡２８の大きさや曲率により適宜設定される。この実施形態の移動体周辺監視装置では反射鏡２８は、パノラマ撮像レンズ１２の光軸ｘ方向に対してほぼ４５°以下の鋭角で交差する方向の範囲の光を、パノラマ撮像レンズ１２に入射させるように設置されている。
　次に、この実施形態の移動体周辺監視装置を取り付けた車両３０について、図２～図４を基に説明する。移動体である車両３０の種類は問わないものであり、図面ではワンボックスタイプの乗用車を示しているが、大型のバスやトラック、ショベルカーやブルドーザ、クレーン車、その他土木作業用機械、産業用のフォークリフトやトラクター等でも良く、各種の有人又は無人のカート等、適宜の移動体に取り付けて使用することができる。
　移動体周辺監視装置は、車両３０において運転者の死角が生じる後部３０ａにパノラマ撮像装置１０を取り付け、画像処理装置や表示装置２６は、図示しない車内の適宜の位置に取り付けられる。画像処理装置は、車両３０とネットワークで接続された外部のホストコンピュータに設けられていても良く、極座標系の環状パノラマ画像を直交座標系の画像に変換する他、人や動物、その他各種の物体を検知した情報の処理や、光ビーコン、SLAM技術を使った自車位置測位のための処理行うものでも良い。さらに、車両３０の運転席とは反対側のサイドミラー３２やその他の側面の内部又は下部に、パノラマ撮像装置１０を適宜取り付けても良い。各パノラマ撮像装置１０は、パノラマ撮像レンズ１２の光軸ｘが水平方向に取り付けられる。
　パノラマ撮像装置１０により監視可能な範囲について、図４を基に説明する。車両３０の後部３０ａにパノラマ撮像装置１０を取り付けた場合、図４（ａ）に示すように、反射鏡２８の上下方向の視野角βと水平方向の視野角γの範囲は、車両３０の進行方向をＦｗとすると、車両３０の後方であって、例えば上下左右に９０°の視野の範囲が監視可能となる。さらに、パノラマ撮像装置１０の３６０°の撮影可能範囲の内の、反射鏡２８からの光が入る部分以外の監視範囲δは、１８０°以上の例えば２５０°程度の範囲とすることができる。従って、パノラマ撮像装置１０の画角θで、監視範囲δを監視することができる。車両３０の後部３０ａにパノラマ撮像装置１０を取り付けた場合、光軸ｘ方向を含む後方、及び車両３０の後部３０ａのＹ軸方向の左右方向及び左右の斜め上方、並びに後部３０ａのＺ軸方向の下方の状況を含む監視範囲δを監視することができる。
　同様に、車両３０の側方であるサイドミラー３２にパノラマ撮像装置１０を取り付けた場合、図４（ｂ）に示すように、反射鏡２８の上下方向の視野角βと水平方向の視野角γの範囲は、車両３０の進行方向Ｆｗと直交する側方に光軸ｘが位置し、例えば上下左右に９０°の視野の範囲が監視可能となる。さらに、光軸ｘ方向と直交するＹ軸方向においては、サイドミラー３２が設けられた側の前後方向であり車両の進行方向ＦｗであるＹ軸方向の前後及び前後の斜め上方、並びにサイドミラー３２の下方の状況を含む監視範囲δを監視することができる。監視範囲δは、上記と同様に、１８０°以上の例えば２５０°程度の範囲とすることができる。
　表示装置２６に表示される監視画像３４は、図５に示す円環状の極座標系のパノラマ画像３６として撮像素子２４により撮影されるので、撮影された極座標系の画像を、画像処理装置により画像処理して、図６に示すように、直交座標系の監視画像３４として歪みが補正され、表示装置２６の四角い表示画面上に表示される。
　パノラマ撮像装置１０は、パノラマ撮像レンズ１２の光軸ｘが水平方向に取り付けられているので、図５に示す環状のパノラマ画像３６は、左右の側方画像３６ａ、３６ｂと、車両３０の後部３０ａの下部を撮した下部画像３６ｃが連続的に撮影される。さらに、パノラマ画像３６の上方のほぼ９０°の視野角β及び視野角γの範囲には、反射鏡２８で反射されて、パノラマ撮像レンズ１２の光入射面１４に入射した略水平方向に後方遠方の、後方遠方画像３６ｄが撮影される。
　パノラマ撮像装置１０の撮像素子２４で撮影された、図５に示すパノラマ画像３６は、図示しない画像処理装置により、図６に示す直交座標系の監視画像３４に変換され、表示装置２６に表示される。表示される監視画像３４は、左右の側方画像３４ａ、３４ｂが両側に表示されるとともに、車両３０の後部３０ａの下部画像３４ｃが各々区切られて表示される。さらに、図５に示すパノラマ画像３６の上方のほぼ９０°の範囲にある、反射鏡２８で反射された後方遠方画像３６ｄは、図６に示す後方遠方画像３４ｄとして表示される。
　パノラマ撮像装置１０で撮影されたパノラマ画像３６の他の表示方法として、図７に示す監視画像３８のように、パノラマ画像３６の左右の側方画像３４ａ、３４ｂと下部画像３４ｃを連続して、左右の側方画像３８ａ、３８ｂとして表示し、反射鏡２８で反射された画像は、後方遠方画像３８ｃとして、側方画像３８ａ，３８ｂの間に大きく表示しても良い。
　この移動体周辺監視装置によれば、３６０°の範囲を撮影することができるパノラマ撮像装置１０を用いて、効果的に広範囲の画像を取得することができ、３６０°の範囲のうち、必要性のない範囲について、反射鏡２８を使って必要な範囲の画像を、パノラマ撮像レンズ１２に入射させ、単一のパノラマ撮像装置１０で、車両３０の周囲の極めて広範囲の監視を行うことができるものである。特に、車両３０の後部３０ａに設けた場合は、後部３０ａのＹ軸方向の左右には、光軸ｘ方向と直交する水平方向を含む左右の斜め上方からＺ軸方向下方を含む１８０°以上の監視範囲δで、パノラマ撮像レンズ１２の画角θで車両３０の後方を監視することができる。さらに、光軸ｘ方向であり水平方向のＸ軸方向後方遠方の範囲を、視野角β，γで確実に監視することができる。また、サイドミラー３２にパノラマ撮像装置１０を設けた場合も、同様にサイドミラー３２の前後方向であるＹ軸方向の斜め上方からＺ軸方向下方を含む１８０°以上の監視範囲δで、パノラマ撮像レンズ１２の画角θで車両３０の前後方向を監視することができる。さらに、サイドミラー３２のパノラマ撮像装置１０の光軸ｘ方向である水平方向のＸ軸方向側方の範囲を、視野角β，γで確実に監視することができる。
　なお、この発明の移動体周辺監視装置は上記実施形態に限定されるものではなく、図８（ａ），（ｂ）に示すように、このパノラマ撮像装置１０を車両３０の後部３０ａの角部に２台設けて、撮影することにより、車両３０の両側の側方を前後方向に１８０°以上の水平方向及び下方、及び後方の監視を行うことができる。さらに、反射鏡２８の向きを水平方向に、車両３０の両角のうちの互いに反対側の角部方向の画像を撮影すると良い。これにより、反射鏡２８に写る範囲を、後部３０ａの後方及び車両３０の前後水平方向の側方を各々監視することができ、２台のパノラマ撮像装置１０により、車両３０の後部３０ａの後方全域を監視することができる。この実施形態では、車両３０の後部３０ａの角部で、パノラマ撮像レンズ１２の光軸ｘ方向が、水平方向のＸ軸とＹ軸方向の中間方向を向いて配置され、ＸＹ平面に対して斜め上方からＺ軸方向下方の１８０°以上の監視範囲δで、画角θで後部３０ａの角部を監視する。さらに、水平方向のＸ軸とＹ軸方向の中間方向の光軸ｘ方向に、後方の側方の範囲を視野角β，γで確実に監視することができる。
　この実施形態の移動体周辺監視装置によれば、通常は前後左右の少なくとも３台のカメラを必要とするところ、２台のパノラマ撮像装置１０のみで、車両３０の左右両側方と、後方の上下及び後方遠方の全範囲を確実に監視することが可能となり、車両運転等の安全性を容易に高めることができる。
　その他、本願発明の構成は適宜選択可能なものであり、図８に示す例とは逆に、このパノラマ撮像装置１０を車両３０の前方の角部に設けて撮影することにより、車両３０の側方を前後方向に１８０°以上の水平方向及び下方、並びに前方の監視を行うことができる。さらに、車両３０の側方にパノラマ撮像装置１０を設けて撮影することにより、車両３０の側方を前後方向に１８０°以上の水平方向及び下方、並びに前方の監視を行うことができる。また、パノラマ撮像装置を移動体の後方と両側面に各々設けて、３台のパノラマ撮像装置により、移動体周辺の監視を行っても良く、設置する台数や監視する方向は適宜選択可能なものである。
　さらに、パノラマ撮像レンズ１２及びリレーレンズ２２の光軸ｘ方向は、用途に合わせて適宜設定可能なものである。光軸ｘ方向が水平方向以下にする場合、パノラマ撮像レンズ１２の光入射面１４において、第二反射面１８側の最大入射角を仰角とすると、仰角の方向が、鉛直方向の真下を向くような位置までの範囲で、光軸ｘの向きを適宜設定可能である。さらに、光軸ｘ方向が水平方向より上方にする場合、パノラマ撮像レンズ１２の光入射面１４において、第一反射面１４側の最大入射角を俯角とすると、俯角の方向が、鉛直方向の真下を向く位置までの範囲で、光軸ｘの向きを適宜設定可能である。また、反射鏡は、鏡面を有したものの他プリズムを利用した光学素子でも良く、その種類や材質は問わず、鏡面も、平面鏡のみならず凹面鏡や凸面鏡を用いても良い。パノラマ撮像レンズは、その配置位置や設置する場合の光軸の水平方向の角度は適宜設定されるもので、材質や視野角も適宜選択可能なものである。
　１０　パノラマ撮像装置
　１２　パノラマ撮像レンズ
　１４　光入射面
　１６　第一反射面
　１８　第二反射面
　２０　光出射面
　２２　リレーレンズ
　２４　撮像素子
　２６　表示装置
　２８　反射鏡
　３０　車両
　３０ａ　車両後部
　３２　サイドミラー
　３４　監視画像
　３６　パノラマ画像

Claims (9)

  1. 　光透過性の素材により形成され、レンズ中心の光軸回りに回転対称に形成されて、前記光軸に対して直交す周囲からの光が入射可能な光入射面を有したパノラマ撮像レンズと、前記パノラマ撮像レンズに入射して形成された画像をとらえる撮像素子と、前記パノラマ撮像レンズと前記撮像素子との間に配置され前記パノラマ撮像レンズに入射した光を前記撮像素子に結像させる撮像光学系とを有したパノラマ撮像装置を備え、
    　前記パノラマ撮像装置の前記光軸の周囲の視野の一方向に配置され、前記光軸方向周辺からの光を前記パノラマ撮像レンズの前記光入射面の一部に導く反射鏡を備えたことを特徴とする移動体周辺監視装置。
  2. 　前記パノラマ撮像レンズは、レンズ中心の光軸回りに回転対称に形成され、前記光入射面は、前記光軸の周囲からの光が入射可能に凸レンズ状に形成され、前記光入射面と互いに対向する位置には、前記パノラマ撮像レンズ表面の一部に環状に形成され前記パノラマ撮像レンズ内へ光を反射するように外方に膨らんで凹面鏡状に形成された第一反射面が設けられ、前記光入射面の環内の中央部の前記パノラマ撮像レンズ表面には前記第一反射面からの反射光を前記第一反射面の環の内側部分に向けて反射する凸面鏡状の第二反射面が設けられ、前記第一反射面の環内中央部には前記第二反射面と対向して位置し前記第二反射面からの光を透過する光出射面を備える請求項１記載の移動体周辺監視装置。
  3. 　前記パノラマ撮像レンズは、前記光軸の３６０°全周の光を前記前記光入射面に入射可能に形成されている請求項１又は２記載の移動体周辺監視装置。
  4. 　前記パノラマ撮像レンズ及び前記撮像光学系の前記光軸の方向と、前記反射鏡の視野角の範囲に含まれる方向の少なくとも一方が、水平方向以下の方向に一致して設けられ、前記パノラマ撮像レンズには、前記光軸に対して直交する下方と側方及び前記反射鏡の前記視野角方向の画像が入射する請求項１又は２記載の移動体周辺監視装置。
  5. 　前記撮像素子に入射した画像のうち、前記反射鏡でとらえられた前記光軸方向周辺の画像と、前記撮像素子に入射した他の画像とを、各々表示する表示装置及びそれらの画像を処理する画像処理装置の少なくとも一方を備えた請求項１乃至４のいずれかに記載の移動体周辺監視装置。
  6. 　前記表示装置は、前記パノラマ撮像装置の水平方向側方の画像、下方の画像、及び前記光軸方向周辺の画像を一つの表示画面に表示する請求項５記載の移動体周辺監視装置。
  7. 　前記パノラマ撮像装置を移動体の前方又は後方に配置して、前記移動体の前方又は後方を監視可能にした請求項５又は６記載の移動体周辺監視装置。
  8. 　前記パノラマ撮像装置を移動体の側方に配置して、前記移動体の側方と、前方又は後方を監視可能にした請求項５又は６記載の移動体周辺監視装置。
  9. 　前記パノラマ撮像装置を移動体の前方及び後方の少なくとも何れかの角部に配置し、前記移動体の側方と前方及び／又は後方を監視可能にした請求項５又は６記載の移動体周辺監視装置。
PCT/JP2019/023028 2018-12-17 2019-06-11 移動体周辺監視装置 WO2020129278A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201980072655.0A CN113039485A (zh) 2018-12-17 2019-06-11 移动体周边监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018235267A JP6701482B1 (ja) 2018-12-17 2018-12-17 移動体周辺監視装置
JP2018-235267 2018-12-17

Publications (1)

Publication Number Publication Date
WO2020129278A1 true WO2020129278A1 (ja) 2020-06-25

Family

ID=70776070

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2019/023028 WO2020129278A1 (ja) 2018-12-17 2019-06-11 移動体周辺監視装置
PCT/JP2019/041612 WO2020129398A1 (ja) 2018-12-17 2019-10-24 観測装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041612 WO2020129398A1 (ja) 2018-12-17 2019-10-24 観測装置

Country Status (3)

Country Link
JP (1) JP6701482B1 (ja)
CN (1) CN113039485A (ja)
WO (2) WO2020129278A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190274A (zh) * 2020-02-13 2020-05-22 浙江大学 一种双通道共像面的全景环带光学成像装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102544194B1 (ko) * 2020-11-02 2023-06-15 삼성전기주식회사 촬상 광학계

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104476A (ja) * 2002-09-10 2004-04-02 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺視認装置
JP2009145602A (ja) * 2007-12-13 2009-07-02 Toyama Univ パノラマ撮像方法と装置
JP2009184557A (ja) * 2008-02-07 2009-08-20 Nissan Motor Co Ltd 車両周辺監視装置
JP2010087996A (ja) * 2008-10-01 2010-04-15 Toyota Motor Corp 撮像装置
JP2011005930A (ja) * 2009-06-25 2011-01-13 Panasonic Corp 視界支援装置
JP2011182176A (ja) * 2010-03-01 2011-09-15 Toyama Univ 広視野角画像処理方法と広視野角画像撮影装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03266740A (ja) * 1990-03-16 1991-11-27 Toshiba Corp 車載用後方確認カメラ
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JP3377995B1 (ja) * 2001-11-29 2003-02-17 株式会社立山アールアンドディ パノラマ撮像レンズ
JP3709879B2 (ja) * 2003-05-01 2005-10-26 日産自動車株式会社 ステレオ画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004104476A (ja) * 2002-09-10 2004-04-02 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺視認装置
JP2009145602A (ja) * 2007-12-13 2009-07-02 Toyama Univ パノラマ撮像方法と装置
JP2009184557A (ja) * 2008-02-07 2009-08-20 Nissan Motor Co Ltd 車両周辺監視装置
JP2010087996A (ja) * 2008-10-01 2010-04-15 Toyota Motor Corp 撮像装置
JP2011005930A (ja) * 2009-06-25 2011-01-13 Panasonic Corp 視界支援装置
JP2011182176A (ja) * 2010-03-01 2011-09-15 Toyama Univ 広視野角画像処理方法と広視野角画像撮影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111190274A (zh) * 2020-02-13 2020-05-22 浙江大学 一种双通道共像面的全景环带光学成像装置
WO2021159715A1 (zh) * 2020-02-13 2021-08-19 浙江大学 一种双通道共像面的全景环带光学成像装置

Also Published As

Publication number Publication date
WO2020129398A1 (ja) 2020-06-25
CN113039485A (zh) 2021-06-25
JP6701482B1 (ja) 2020-05-27
JP2020098228A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
CN110178369B (zh) 摄像装置、摄像系统以及显示系统
JP3627914B2 (ja) 車両の周囲監視システム
US4549208A (en) Picture processing apparatus
WO2015182457A1 (ja) 車両外部監視装置及び撮像装置
CN109219769B (zh) 成像系统
US10623618B2 (en) Imaging device, display system, and imaging system
JP6433684B2 (ja) 車両用外部監視装置の撮像装置
WO2020129278A1 (ja) 移動体周辺監視装置
WO2020153317A1 (ja) 車載カメラ
KR102105657B1 (ko) 차량용 사이드 전방위 카메라 장치
KR20180053077A (ko) 듀얼 카메라 타입 사이드 카메라 및 이를 포함하는 차량 후방 정보 확인 시스템
JP2017181634A (ja) 撮像装置及び車載カメラシステム
JP3147679B2 (ja) 車両用周辺視認装置
WO2021235255A1 (ja) 画像表示モジュール
US20240114253A1 (en) Movable apparatus and installation method for imaging device
WO2022024814A1 (ja) カメラシステムおよび運転支援システム
US20230007190A1 (en) Imaging apparatus and imaging system
WO2022186189A1 (ja) 撮像装置および３次元表示装置
WO2021235287A1 (ja) 視点検出装置および表示装置
US20170048455A1 (en) Optic for enabling instantaneously 360° Degree Panoramic Video of the Surroundings
WO2022230824A1 (ja) 映像表示装置および映像表示方法
JPH0655871U (ja) 曲率フードガラス付き後方監視カメラ
CN117774832A (zh) 可移动设备和摄像装置的安装方法
JP2022021866A (ja) カメラシステムおよび画像表示システム
JP2015223976A (ja) 車両用外部監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901180

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19901180

Country of ref document: EP

Kind code of ref document: A1