WO2019123840A1 - 撮像装置、撮像システム、および表示システム - Google Patents

撮像装置、撮像システム、および表示システム Download PDF

Info

Publication number
WO2019123840A1
WO2019123840A1 PCT/JP2018/040176 JP2018040176W WO2019123840A1 WO 2019123840 A1 WO2019123840 A1 WO 2019123840A1 JP 2018040176 W JP2018040176 W JP 2018040176W WO 2019123840 A1 WO2019123840 A1 WO 2019123840A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
resolution
imaging
view
region
Prior art date
Application number
PCT/JP2018/040176
Other languages
English (en)
French (fr)
Inventor
雅之 粟飯原
成功 八釣
善夫 松村
寛幸 庄林
楳田　勝美
茂春 川本
深山　和樹
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201880005109.0A priority Critical patent/CN110178369B/zh
Priority to EP18889962.9A priority patent/EP3547678B1/en
Priority to JP2019519362A priority patent/JP7266165B2/ja
Priority to US16/413,733 priority patent/US10917610B2/en
Publication of WO2019123840A1 publication Critical patent/WO2019123840A1/ja
Priority to US17/140,202 priority patent/US11310461B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/18—Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an imaging device attached to the side of a moving object to capture an image of a subject, an imaging system including the imaging device, and a display system.
  • Patent Document 1 discloses an imaging device which is attached to the side of a vehicle and captures an image of the rear of the vehicle.
  • the imaging device of Patent Document 1 corresponds to an optical system for converging light from a first subject located to the rear of the vehicle and light from a second subject located to the side of the vehicle, and an image captured by the optical system.
  • the imaging device includes an imaging element that outputs image data, and a display that is provided in a vehicle cabin of the vehicle and that displays the image data.
  • the angle of view of the optical system is 180 degrees or more.
  • the imaging device has a plurality of pixels arranged in a rectangular shape in the focal plane of the optical system. One diagonal of the plurality of rectangular diagonals is disposed rearward. According to this configuration, it is possible to capture an object located on the rear side of the vehicle and an object located on the side of the vehicle without providing a large number of cameras.
  • the present disclosure is an imaging device attached to the side of a moving body, which achieves a wide angle of view without obtaining an increase in size of the device, and obtains a high resolution image of an area of a portion important for image analysis.
  • an imaging device attached to the side of a moving body includes an imaging surface in which a plurality of pixels are two-dimensionally arranged, and an image sensor that generates image data from a subject image formed on the imaging surface, a predetermined vertical angle of view, and a predetermined And an optical system for forming the object image included in the range of the horizontal angle of view on the imaging surface.
  • the number of pixels for capturing the subject image included in the unit angle of view is taken as the resolution.
  • the imaging surface is different from a first area for capturing a first subject image in the subject image and a second area for capturing a second subject image in the subject image, unlike the first area. And.
  • the optical system forms the subject image on the imaging surface such that the resolution of the first area is higher than the resolution of the second area.
  • the position of the center of the first area is at least one of a position shifted horizontally from the center of the predetermined horizontal angle of view and a position shifted vertically from the center of the predetermined vertical angle of view.
  • an imaging device attached to the side of a moving object, which realizes a wide angle of view without causing an increase in the size of the device, and an image of high resolution in an area of a portion important for image analysis.
  • the figure which shows the structure of the imaging system in Embodiment 1 of this indication mounted in the vehicle of a motor vehicle A diagram showing a configuration of a control device in an imaging system Diagram showing the configuration of the left side camera in an imaging system
  • a diagram showing an example of the configuration of an optical system of a side camera (cross section when a free-form surface lens is virtually cut in a vertical plane including the optical axis) A diagram for explaining an example of distribution of resolution of an image formed by an optical system of a left side camera Diagram for explaining the resolution of the image formed on the image sensor by the optical system of the left side camera Diagram showing the resolution (angular resolution) characteristics of a free-form lens used in the optical system of the left-side camera Diagram showing the resolution (angular resolution) characteristics of a free-form lens used
  • FIG. 1 is a diagram illustrating an example in which an imaging device according to the present disclosure is applied to a side camera of a car (an example of a moving object).
  • left and right side cameras 10R and 10L are attached to the side of a vehicle 100 of a car.
  • the right side camera 10 ⁇ / b> R and the left side camera 10 ⁇ / b> L capture an object in the area on the side of the vehicle and in the diagonally backward region, and generate image data.
  • the right side camera 10R is mounted rearward on the right side of the vehicle so as to capture a scene on the right side and a right rear side of the vehicle.
  • the left side camera 10L is mounted backward on the left side of the vehicle so as to capture a scene on the left side of the vehicle and a diagonally left rear side.
  • the right side camera 10R and the left side camera 10L are collectively referred to, they are referred to as the side camera 10.
  • Vehicle 100 is controlled by control device 20 that processes image data from left and right side cameras 10R and 10L, display device 30 that displays an image based on the image data processed by control device 20, and control device 20 And a control target 60.
  • the left and right side cameras 10R and 10L and the control device 20 constitute an imaging system. Further, the left and right side cameras 10R and 10L and the display device 30 constitute a display system.
  • the display device 30 includes a display device such as a liquid crystal display panel or an organic EL (Electro Luminescence) display, and a drive circuit that drives the display device.
  • the display device 30 is an electronic room mirror, an in-vehicle display, or the like, and can display various information (at least one of a map, route guidance, radio station selection, various settings, and the like).
  • the display device 30 displays an image of a side of the vehicle and a diagonally rearward scene captured by each of the side cameras 10R and 10L while the vehicle 100 is traveling or stopping.
  • positioned is not specifically limited, For example, you may arrange
  • the number of the display devices 30 is two or more, and may be disposed on both sides of the windshield in the vehicle.
  • the control device 20 receives image data from each of the side cameras 10R and 10L, performs image analysis, recognizes an object behind the vehicle 100 or obliquely behind the vehicle 100, and controls the control target 60 as necessary.
  • the object is, for example, at least one of a car, a motorcycle, a bicycle, and a person.
  • the control target is, for example, at least one of a brake, an accelerator, a steering, and a warning device. Further, the control device 20 performs predetermined image processing on the image data from each of the side cameras 10R and 10L, and generates image data to be displayed on the display device 30.
  • FIG. 2 is a block diagram showing the configuration of the control device 20.
  • the control device 20 has a first interface 23 (circuit) for inputting image data from the left side camera 10L, a second interface 24 (circuit) for inputting image data from the right side camera 10R, and an input image It includes a controller 21 that performs image processing and image analysis on data, and a data storage unit 29 that stores data and the like.
  • Control device 20 further transmits a third interface 25 (circuit) for transmitting the generated image data to display device 30, and a fourth interface 27 (circuit for transmitting a control signal for controlling control target 60 to control target 60. And.
  • the controller 21 includes a central processing unit (CPU) and a random access memory (RAM), and implements various functions by executing a program stored in the data storage unit 29.
  • the controller 21 may include a dedicated hardware circuit designed to realize a desired function. That is, the controller 21 may include a CPU, a micro processing unit (MPU), a field-programmable gate array (FPGA), a digital signal processor (DSP), an application specific integrated circuit (ASIC), or the like.
  • the data storage unit 29 is a recording medium such as a hard disk drive, a solid state drive (SSD), or a semiconductor memory.
  • the data storage unit 29 stores programs executed by the controller 21 and data.
  • FIG. 3 is a block diagram showing the configuration of the left side camera 10L.
  • the left side camera 10 ⁇ / b> L includes an optical system 11, an image sensor 12 for capturing an object image received through the optical system 11 and generating an image signal, and predetermined image processing for the image signal.
  • a signal processing circuit 13 for performing (gamma correction, distortion correction, etc.), and an interface 14 (circuit) for outputting an image signal processed by the signal processing circuit 13 to an external device are provided.
  • the optical system 11 is an optical element that forms an image on the imaging surface of the image sensor 12.
  • the optical system 11 includes a lens, an aperture, and a filter. Details of the optical system 11 will be described later.
  • the image sensor 12 is an imaging element that converts an optical signal into an electrical signal, and a plurality of pixels are two-dimensionally arranged at equal intervals.
  • the image sensor 12 is, for example, a Charge Coupled Device (CCD), a Complementary Metal Oxide Semiconductor (CMOS) image sensor, or an n-Channel Metal-Oxide Semiconductor (NMOS) image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • NMOS n-Channel Metal-Oxide Semiconductor
  • FIG. 4 is a view for explaining the range of the horizontal angle of view (horizontal angle of view) which can be photographed by the left side camera 10L.
  • the left side camera 10 ⁇ / b> L can capture an object region R ⁇ b> 20 with an angle of view of 100 ° in the horizontal direction.
  • imaging can be performed with a larger enlargement factor.
  • the left side camera 10L is attached to the side of the vehicle 100 so that a part of the left rear of the vehicle can be imaged.
  • FIG. 5 is a view for explaining the range of the vertical angle of view (vertical angle of view) in which the left side camera 10L can shoot.
  • the left side camera 10L can capture an object in the object region R20 with an angle of view of 83 °.
  • region can be imaged with a side camera by adjusting the direction or angle of view of the optical axis of a side camera.
  • FIG. 6 is a diagram for explaining the magnification of an image in a captured image captured through the optical system 11 of the left side camera 10L.
  • the left side in FIG. 6 is the vehicle side.
  • a region R1 (an example of a first region of the present disclosure) is a region enlarged at a relatively high magnification, and corresponds to the subject region R10.
  • a region R2 (an example of a second region of the present disclosure) is a region enlarged at a relatively low magnification, and corresponds to a region excluding the subject region R10 in the subject region R20.
  • the optical system 11 is designed to change continuously and monotonically so that the magnification does not become discontinuous in the regions R1 and R2.
  • the configuration of the optical system 11 for realizing such optical characteristics will be described.
  • FIG. 7 is a view showing a specific configuration example of the optical system 11 of the left side camera 10L.
  • FIG. 7 is a cross-sectional view when the optical system 11 is virtually cut at a vertical plane including the optical axis Z (a plane having the horizontal direction of the image sensor as a normal).
  • the optical axis Z is a virtual line that passes through the center of the imaging surface of the image sensor 12 and is orthogonal to the imaging surface.
  • the optical system 11 includes at least one of a mirror, a prism, and the like that reflects light
  • the optical axis is bent by reflection.
  • the optical system 11 includes a plurality of lenses and a stop 115.
  • the optical system 11 includes free-form surface lenses 111 and 112.
  • a free-form surface lens is a lens in which the surface that refracts light for imaging is non-circular and non-rotationally symmetric.
  • the cylindrical lens is also a kind of arc-shaped lens, and is a lens different from the free-form surface lens.
  • a free-form surface lens has a non-arc-like shape that is not part of a perfect circle.
  • the material of the free-form-surfaced lens is not particularly limited, and examples thereof include glass and resin.
  • the method for producing the free-form-surface lens is not particularly limited either. For example, a method for producing the free-form-surface lens using a mold such as a mold can be exemplified.
  • the set of free-form surface lenses 111 and 112 constitute a lens capable of making the magnification of the image to be formed different according to the angle of view.
  • the free-form surface lenses 111 and 112 are designed so that the enlargement ratio of a part of the region R1 is higher than that of the other regions R2 in the captured image 300L, as shown in FIG.
  • the region R1 having a high magnification ratio is arranged such that the center G1 is located at a position shifted from the center G0 of the captured image 300L in both the horizontal direction and the vertical direction. More specifically, the region R1 is disposed such that the center G1 of the region R1 is shifted to the vehicle side in the horizontal direction and upward in the vertical direction with reference to the center G0 of the captured image 300L.
  • the image sensor 12 of the present embodiment has uniform pixel distribution in the horizontal direction and the vertical direction. Therefore, the resolution of the image formed on the imaging surface of the image sensor 12 by the optical system 11 of the left side camera 10L is as shown in FIG. As shown in FIG. 8, in the captured image 300L, the resolution of the image in the region R1 is high (dense), and the resolution of the image in the region R2 outside the region R1 is smaller (sparse) compared to the region R1.
  • the area R1 is set as an area used for image analysis. As a result, since the image in the region R1 has high resolution, analysis accuracy can be enhanced.
  • the image resolution means the number of pixels of the image sensor 12 used to capture an image of a unit angle of view formed on the image sensor 12 through the optical system 11 (pixels per unit angle of view).
  • the number of The resolution is defined by the following equation.
  • FIG. 9 is a view schematically illustrating an imaging state on the image sensor 12 when the optical system 11 and the image sensor 12 are virtually cut in a horizontal plane including the optical axis Z.
  • an object image of the first region r1 in the range of the angle of view ⁇ x in the horizontal direction and an object image of the second region r2 having the same angle of view ⁇ x are placed on the image sensor 12 via the optical system 11.
  • the area r1 is a part of the subject area R10, and corresponds to a part of the area R1 in the captured image.
  • the area r2 is a part of the subject area R20, and corresponds to a part of the area R2 in the captured image.
  • the optical system 11 is designed such that the magnification M1 of the region R1 is relatively high and the magnification M2 of the region R2 is relatively low in the captured image 300L.
  • the image of the first region r1 is magnified at the magnification M1 and is captured on the imaging surface of the image sensor 12 It is imaged.
  • the image is magnified at a magnification M2 lower than the magnification M1 and is imaged on the imaging surface of the image sensor 12. Therefore, the length L2 of the image of the second area r2 on the imaging surface is smaller than the length L1 of the image of the first area r1.
  • the pixels are arranged two-dimensionally at equal intervals on the image sensor 12, the larger the length of the image in the horizontal direction, the larger the number of pixels required for capturing the image. That is, the number N1 of pixels required to capture the image of the first region r1 included in the range of the length L1 is the image of the second region r2 included in the range of the length L2 ( ⁇ L1).
  • An image for the first area r1 is imaged at a position corresponding to the first area R1 on the imaging surface of the image sensor 12.
  • An image for the second area r2 is formed at a position corresponding to the second area R2 on the imaging surface of the image sensor 12.
  • the resolution of the image in the first region R1 is higher than the resolution of the image in the second region R2.
  • the resolution of the first region R1 is the average resolution of the first region R1.
  • the resolution of the second region R2 is the average resolution of the second region R2.
  • FIG. 10 is a diagram showing the resolution (angular resolution) characteristics with respect to the angle of view in the vertical direction and the horizontal direction for the optical system 11 of the left side camera 10L.
  • the center of the angle of view in the vertical direction and the horizontal direction is 0 °.
  • the pixel density is high in the range of ⁇ 11.5 ° around + 8 °.
  • the pixel density is high in the range of ⁇ 15 ° around ⁇ 25 °.
  • the resolution in the range of ⁇ 11.5 ° in the vertical direction and ⁇ 15 ° in the horizontal direction is centered on the field angle position of + 8 ° in the vertical direction and ⁇ 25 ° in the horizontal direction. It is higher than the resolution of the other range (the area excluding the area R10 from the area R20).
  • FIG. 11 is a view showing the resolution (angular resolution) characteristics with respect to the angle of view in the vertical direction and the horizontal direction for the optical system of the right side camera 10R.
  • the + 50 ° side is the vehicle side.
  • the characteristics in the vertical direction are the same, but the characteristics in the horizontal direction are reversed. That is, as shown in FIG. 11, in the vertical direction, the resolution is high in the range of ⁇ 11.5 ° around + 8 °. In the horizontal direction, the resolution is high in the range of ⁇ 15 ° around + 25 °.
  • the resolution in the range of ⁇ 11.5 ° in the vertical direction and ⁇ 15 ° in the horizontal direction with respect to the field angle position of + 8 ° in the vertical direction and + 25 ° in the horizontal direction is the resolution in the other range It is higher than that.
  • an image is formed in a partial region R1 in the captured image 300L generated by the image sensor 12
  • the resolution of the image can be made larger (i.e., denser) than the resolution of the image formed in the other region R2.
  • the difference in resolution means the difference between the resolution generated by the combination of an optical system (for example, an optical system including a general rotationally symmetric spherical lens and an aspheric lens) and a flat image sensor. Means.
  • an optical system for example, an optical system including a general rotationally symmetric spherical lens and an aspheric lens
  • the region R20 can be imaged, and further, a region R10 with a narrow angle of view can be imaged at a higher magnification (that is, high resolution).
  • the analysis accuracy can be improved. In other words, it is possible to detect even a distant subject.
  • detection target is relatively close at the wide-angle portion, detection can be performed with sufficient accuracy even if the enlargement ratio is relatively suppressed (that is, relatively low resolution). That is, according to the side camera 10 of the present embodiment, while securing a wide angle of view as a whole, it is possible to capture an image having a high resolution for a partial region used for image analysis.
  • FIG. 13A shows an image taken by a conventional wide-angle camera.
  • an image with low resolution is obtained as shown in FIG.
  • Such an image with a low resolution may not recognize an object in image analysis, and may not recognize a motorcycle 104 to be detected that travels behind the vehicle.
  • the side camera 10 of the present embodiment as shown in FIG. 14A, the image in which the subject (here, the motorcycle 104) is enlarged in the region R1 used for image analysis is can get. Therefore, when the region R1 is cut out, an image with high resolution is obtained as shown in FIG. 14B, so that the motorcycle 104 to be detected in the image analysis can be accurately recognized. In other words, it is possible to detect more distantly.
  • the driver riding on the motorbike 104 is omitted in FIG. 12 to FIG.
  • the side camera 10 captures an image of the side of the vehicle and the rear of the vehicle while the vehicle 100 is traveling or stopping, generates image data, and transmits the image data to the control device 20.
  • the control device 20 receives image data from the side camera 10 via the first interface 23 and the second interface 24.
  • the controller 21 of the control device 20 performs predetermined image processing on the received image data to generate display image data, and transmits the display image data to the display device 30 via the third interface 25.
  • the display device 30 displays an image based on the image data received from the control device 20.
  • the driver of the vehicle 100 can grasp the situation of the side and diagonally rear of the vehicle by confirming the image displayed on the display device 30.
  • the controller 21 of the control device 20 performs image analysis (sensing) on the image data received from the side camera 10, and acquires various information regarding the condition behind the vehicle. At this time, the controller 21 analyzes the image of the region R1 in the captured image. Since the region R1 has high resolution, analysis can be performed with high accuracy. For example, as shown in FIG. 15, the controller 21 can determine and detect whether there is a car or a motorbike traveling in the rear of the lane next to the lane in which the vehicle 100 is traveling, as shown in FIG. Further, the controller 21 can determine and detect at what speed these cars or motorcycles approach the vehicle. The controller 21 can realize safe lane change by transmitting the detected information to the driver or the vehicle. Also in FIG. 15, the driver on the motorbike 104 is omitted to facilitate the description.
  • the controller 21 generates a control signal for the predetermined control target 60 based on the result of the image analysis, and transmits the control signal to the control target 60 via the fourth interface 27.
  • the control target 60 is controlled in accordance with the situation on the side or the rear of the vehicle.
  • the control target 60 is, for example, at least one of a brake, an accelerator, and a warning device.
  • the controller 21 controls the steering operation to control the behavior of the vehicle 100 so that the vehicle 100 does not move to the adjacent lane.
  • the controller 21 controls the steering operation to control the behavior of the vehicle 100 so that the vehicle 100 does not move to the adjacent lane.
  • the side camera 10 of the present embodiment while capturing a wide-angle image with one camera, it is possible to capture an image with high resolution in a partial region important for sensing. For this reason, it is not necessary to provide two cameras, and downsizing of the imaging device can be realized.
  • the side camera 10 of the present embodiment it is possible to shoot in a wide angle of view range with one device, and shoot an image with high resolution in a part of the area important for sensing. be able to. Therefore, the number of devices can be reduced. In addition, the entire device can be miniaturized. In addition, the accuracy of image analysis using a captured image can be improved.
  • side camera 10 (an example of an imaging device of this indication) of this embodiment is an imaging device attached to the side of vehicles 100 (an example of a mobile of this indication).
  • the side camera 10 includes an image sensor 12 and an optical system 11.
  • the image sensor 12 includes an imaging surface in which a plurality of pixels are two-dimensionally arranged.
  • the image sensor 12 generates image data from the subject image formed on the imaging surface.
  • the optical system 11 forms an object image included in a range of a predetermined vertical angle of view (for example, 83 °) and a predetermined horizontal angle of view (for example, 100 °) on the imaging surface of the image sensor 12.
  • the number of pixels for capturing a subject image included in a unit angle of view is taken as the resolution.
  • the imaging surface captures a second subject image in the subject image unlike the first area (for example, the area R1 in FIG. 6) for capturing the first subject image in the subject image and the first area. And a second region (e.g., region R2 of FIG. 6).
  • the optical system 11 forms an image on the imaging surface such that the resolution of the image in the first region R1 of the imaging surface is higher than the resolution of the image in the second region R2.
  • the first region R1 may be disposed at a position where the position of the center G1 of the region is horizontally shifted from the center of the horizontal angle of view.
  • the first region R1 may be disposed at a position shifted in the horizontal direction from the center G0 of the horizontal angle of view to a region closer to the region where an image of a part of the vehicle 100 is formed.
  • the resolution of the first region R1 can be made higher than the resolution of the other regions R2 in the captured image (for example, an image obtained by capturing the side and the oblique rear of the vehicle).
  • This makes it possible to capture an image in which the resolution of the image of the area necessary for image analysis is increased while securing a wide angle of view as a whole with one device, and it is possible to improve the analysis accuracy of the captured image. That is, the increase in size and cost of the apparatus can be suppressed.
  • the center G1 of the first area R1 at a position shifted horizontally from the center of the horizontal angle of view, for example, an area where a vehicle of an adjacent lane is imaged can be imaged with high resolution. Therefore, the resolution of the required area can be increased by image analysis.
  • the first region R1 may be disposed at a position shifted horizontally toward the region on which the image of the vehicle 100 is formed from the center of the horizontal angle of view.
  • an image of a vehicle traveling on an adjacent lane of the vehicle 100 can be easily formed. That is, vehicles traveling on adjacent lanes can be detected more reliably.
  • the position of the center G1 of the first region R1 may be arranged to be shifted from the center of the vertical angle of view.
  • the center G1 of the first region R1 may be disposed at a position shifted vertically so as to approach the region where the image obliquely behind the vehicle 100 is captured from the center of the vertical angle of view.
  • the number of resolution peaks in each of the horizontal angle of view and the predetermined vertical angle of view may be one.
  • the resolution of the area required for image analysis can be further increased, and the analysis accuracy of the captured image can be improved.
  • the optical system 11 may include free-form surface lenses 111 and 112. Thereby, in the optical system, it is possible to freely design the enlargement factor which changes according to the angle of view.
  • the side camera 10 when attached to the side of the vehicle 100, the side camera 10 may capture an image of the side of the vehicle 100 and a diagonally rear. As a result, for example, it is possible to image an area where safety confirmation is desired at the time of lane change.
  • the side mirror can be made into an electronic mirror.
  • the image displayed on the electronic mirror may be an image obtained by correcting the image shown in FIG. That is, the image shown in FIG. 14A is a distorted image because the region R1 is displayed large and the region R2 is displayed small. Therefore, when displaying an image on an electronic mirror, you may display the image which averaged the magnifying power of the image shown to (A) of FIG.
  • the pixels in the region R1 may be reduced. In this case, the image in the region R1 displayed on the electronic mirror is smaller. However, since the data amount of the region R1 is larger than the data amount of the region R2, the image of the region R1 is a clear image even if it is small. Also, the pixels in the region R2 may be increased. In this case, the image of the region R2 displayed on the electronic mirror is large. Since the data amount of the region R2 is relatively small, the data may be complemented.
  • the optical system 11 in order to obtain a captured image in which the resolution of a partial region R1 is high, the optical system 11 is configured using a free curved surface lens.
  • the free curved surface lens may not necessarily be used for the optical system 11.
  • Such a captured image can also be realized by using a normal rotationally symmetric optical system by devising the pixel distribution of the image sensor 12.
  • the configuration of the side camera 10 provided with the optical system not including the free curved surface lens will be described.
  • FIG. 16 is a diagram for explaining the pixel distribution of the image sensor 12 in the side camera 10 of the first embodiment and the resolution distribution of a captured image captured by the combination of the optical system 11 and the image sensor 12.
  • FIG. 17 is a diagram for explaining the pixel distribution of the image sensor 12b in the side camera 10b of the second embodiment and the resolution distribution of a captured image 300b captured by a combination of the optical system 11b and the image sensor 12b.
  • the image sensor 12 has a plurality of pixels arranged two-dimensionally at equal intervals.
  • the free curved surface lens 111, 112 of the optical system 11 forms an image in which the resolution of a part of the region R1 is high.
  • the resolution of the region R1 is high and the resolution of the other regions is low.
  • the side camera 10 includes an optical system 11 b which is a rotationally symmetric lens, and an image sensor 12 b having a specific pixel distribution.
  • the optical system 11b is a lens having resolution (angular resolution) characteristics as shown in FIG. 18 with respect to vertical and horizontal resolutions when an image is formed on an image sensor having a uniform pixel distribution. . That is, the optical system 11b has the same resolution characteristics with respect to the angle of view in the vertical direction and the horizontal direction.
  • the pixel distribution is high such that the pixel density of the region corresponding to the region R1 shifted from the center is high and the pixel density of the other regions (portions corresponding to the region R2) is low.
  • the pixel density is high in the range of ⁇ 11.5 ° around + 8 °.
  • the pixel density is high in the range of ⁇ 15 ° around ⁇ 25 °.
  • the combination of the optical system 11b and the image sensor 12b can provide a captured image 300b having the same resolution distribution as that of the first embodiment.
  • the side camera 10b of this Embodiment is an imaging device attached to the side of the vehicle 100 (an example of a mobile).
  • the side camera 10b includes an image sensor 12b and an optical system 11b.
  • the image sensor 12 b includes an imaging surface in which a plurality of pixels are two-dimensionally arranged.
  • the image sensor 12 b generates image data from the subject image formed on the imaging surface.
  • the optical system 11b causes a subject image within a range of a predetermined vertical angle of view and a predetermined horizontal angle of view to be formed on the imaging surface of the image sensor 12b.
  • the number of pixels for capturing a subject image included in a unit angle of view is taken as the resolution.
  • the optical system 11 b forms an image on the imaging surface with uniform resolution.
  • the image sensor 12b has a pixel distribution such that the pixel density of the area corresponding to the first area R1 of the imaging surface is higher than the pixel density of the area corresponding to the second area R2 different from the first area. .
  • the first area R1 is arranged such that the position of the center G1 of the area is shifted from the center of the horizontal angle of view. Furthermore, the position of the center G1 of the first region R1 is arranged to be shifted from the center of the vertical angle of view.
  • the resolution of the central region R1 can be made higher than the resolution of the other regions R2 in the captured image.
  • the resolution of the central region R1 can be made higher than the resolution of the other regions R2 in the captured image.
  • Embodiments 1 and 2 have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and is also applicable to an embodiment in which changes, replacements, additions, or omissions are made as appropriate. Moreover, it is also possible to combine each component demonstrated in the said Embodiment 1, 2, and to set it as a new embodiment. Therefore, other embodiments will be exemplified below.
  • the type of display is not limited to these.
  • the concept of the present disclosure can be applied to display systems using various types of display devices (for example, head-up displays) depending on the application.
  • gamma correction, distortion correction, and the like are performed on the image in the signal processing circuit 13 of the side camera 10.
  • the image processing may be performed on the control device 20.
  • the vehicle 100 of an automobile has been described as an example of a mobile, but the mobile is not limited to an automobile.
  • the imaging device of the above embodiment may be applied to other mobile bodies, for example, agricultural machines such as railways, ships, aircraft, robots, robot arms, drone, combine etc., or construction machines such as cranes. .
  • angle of view, resolution, and the like described in the above-described embodiment are merely examples, and can be set as appropriate in accordance with an object (object, event) to be subjected to image analysis.
  • the free curved surface lens is used in the optical system, but other types of lenses may be used as long as the lens can freely design the enlargement ratio (resolution) according to the angle of view instead of the free curved surface lens. May be used.
  • the imaging device of the present disclosure can capture an image with high resolution of the image of the central portion necessary for image analysis while securing a wide angle of view as a whole, and can improve the analysis accuracy of the captured image.
  • the present invention can be applied to a use (such as an imaging system or a display system in a moving body).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Lenses (AREA)

Abstract

撮像装置は、移動体（例えば、車両）の側方に取り付けられる。撮像装置は、画像センサと、所定の垂直画角と所定の水平画角の範囲にある被写体像を画像センサの撮像面上に結像させる光学系と、を備える。光学系は、撮像面の第１の領域（Ｒ１）における解像度が第１の領域と異なる第２の領域（Ｒ２）における解像度よりも高くなるように撮像面上に像を結像する。第１の領域（Ｒ１）の中心（Ｇ１）の位置は、水平画角の中心から水平にシフトした位置および垂直画角の中心から垂直にシフトした位置の少なくとも一方である。

Description

撮像装置、撮像システム、および表示システム
　本開示は、移動体の側方に取り付けられて被写体の画像を撮像する撮像装置と、撮像装置を含む撮像システムおよび表示システムに関する。
　特許文献１は、車両の側方に取り付けられ、車両後方を撮像する撮像装置を開示する。特許文献１の撮像装置は、車両の後側方に位置する第１被写体及び車両の側方に位置する第２被写体からの光をそれぞれ収束させる光学系と、光学系により撮像した像に対応する画像データを出力する撮像素子と、車両の車室内に設けられ、画像データを表示するディスプレイとを備える。光学系の画角は１８０度以上である。撮像素子は、光学系の焦点面に、矩形の形状に並べられた複数の画素を有する。矩形の複数の対角線のうち一の対角線は、後側方に向かって配置されている。この構成により、多数のカメラを設けることなく、車両の後側方に位置する被写体及び当該車両の側方に位置する被写体を撮像することが可能となる。
特開２０１５－３２９３６号公報
　車両の側方に取り付けられた撮像装置で車両の斜め後方の画像を撮像する場合、できるだけ多くの情報を得るために広角で撮影することが望まれる。しかしながら、画角を広くすると画像の単位面積当たりの画素数が減少し、被写体の画質は低下する。このため、広角で撮像された画像を用いて画像解析を行った場合、解析のための画素数が不足し、解析精度が低下する。これを解決するためには、１つの撮像装置に、広角で撮影可能な撮像装置と、画像解析に重要な部分を撮影可能な撮像装置とを含めることが考えられる。しかし、このような構成は撮像装置の大型化を招き、コストも増大する。
　本開示は、移動体の側方に取り付けられる撮像装置であって、装置の大型化を招かずに、広い画角を実現しつつ、画像解析に重要な部分の領域について高い解像度の画像を得ることができる撮像装置を提供する。
　本開示の一態様において、移動体の側方に取り付けられる撮像装置が提供される。前記撮像装置は、複数の画素が二次元的に配置された撮像面を含み、前記撮像面上に結像された被写体像から画像データを生成する画像センサと、所定の垂直画角と所定の水平画角の範囲に含まれる前記被写体像を前記撮像面上に結像させる光学系と、を備える。単位画角に含まれる前記被写体像を撮像する画素の数を解像度とする。前記撮像面は、前記被写体像のうち第１の被写体像を撮像する第1の領域と、前記第１の領域とは異なり、前記被写体像のうち第２の被写体像を撮像する第２の領域と、を含む。前記光学系は、前記第１の領域の解像度が、前記第２の領域の解像度よりも高くなるように前記撮像面上に前記被写体像を結像する。前記第１の領域の中心の位置は、前記所定の水平画角の中心から水平にシフトした位置、および前記所定の垂直画角の中心から垂直にシフトした位置の少なくとも一方である。
　本開示によれば、移動体の側方に取り付けられる撮像装置であって、装置の大型化を招かずに、広い画角を実現しつつ、画像解析に重要な部分の領域について高い解像度の画像を得ることができる撮像装置を提供できる。
自動車の車両に搭載された、本開示の実施の形態１における撮像システムの構成を示す図 撮像システムにおける制御装置の構成を示す図 撮像システムにおける左サイドカメラの構成を示す図 左サイドカメラの水平方向の撮影可能な範囲（画角）を説明した図 左サイドカメラの垂直方向の撮影可能な範囲（画角）を説明した図 左サイドカメラで撮像された像の拡大率を説明するための図 サイドカメラの光学系の構成例を示した図（光軸を含む垂直面で自由曲面レンズを仮想的に切断したときの断面） 左サイドカメラの光学系により結像される画像の解像度の分布の例を説明した図 左サイドカメラの光学系により画像センサ上に結像される像の解像度を説明するための図 左サイドカメラの光学系に使用される自由曲面レンズの解像度（角度分解能）特性を示す図 右サイドカメラの光学系に使用される自由曲面レンズの解像度（角度分解能）特性を示す図 本開示が解決しようとする課題を説明するための図 従来の魚眼レンズを用いた左サイドカメラで撮影された画像を説明した図 本開示の左サイドカメラで撮影された画像を説明した図 本開示の撮像システムにより得られる効果を説明するための図 実施の形態１の左サイドカメラにおける光学系及び画像センサと、それらにより形成される撮像画像とを説明した図 実施の形態２の左サイドカメラにおける光学系及び画像センサと、それらにより形成される撮像画像とを説明した図 実施の形態２のサイドカメラにおける光学系の解像度（角度分解能）特性を示す図 実施の形態２の左サイドカメラにおける、画像センサの画角に対する画素密度を示す図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　［１－１．全体構成］
　図１は、本開示に係る撮像装置を自動車（移動体の一例）のサイドカメラに適用した例を示す図である。図１の例では、自動車の車両１００の側方に左右のサイドカメラ１０Ｒ、１０Ｌが取り付けられている。右サイドカメラ１０Ｒ及び左サイドカメラ１０Ｌは、車両側方及び斜め後方の領域の被写体を撮像し、画像データを生成する。右サイドカメラ１０Ｒは、車両の右側方及び右斜め後方のシーンを撮像するように、車両の右側において後ろ向きに取り付けられる。左サイドカメラ１０Ｌは、車両の左側方及び左斜め後方のシーンを撮像するように、車両の左側において後ろ向きに取り付けられる。以下の説明では、右サイドカメラ１０Ｒと左サイドカメラ１０Ｌをまとめて称する場合、サイドカメラ１０と称する。
　車両１００は、左右のサイドカメラ１０Ｒ、１０Ｌからの画像データを処理する制御装置２０と、制御装置２０により処理された画像データに基づき画像を表示する表示装置３０と、制御装置２０により制御される制御対象６０とを備える。左右のサイドカメラ１０Ｒ、１０Ｌと制御装置２０とは撮像システムを構成する。また、左右のサイドカメラ１０Ｒ、１０Ｌと表示装置３０は表示システムを構成する。
　表示装置３０は、液晶表示パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスと、表示デバイスを駆動する駆動回路とを備える。表示装置３０は、電子ルームミラーまたは車載ディスプレイ等であり、種々の情報（地図、ルート案内、ラジオ選局、および各種設定等の少なくともいずれか一つ）を表示できる。また、表示装置３０は、車両１００の走行中または停車中に、各サイドカメラ１０Ｒ、１０Ｌにより撮像された車両の側方及び斜め後方のシーンの画像を表示する。表示装置３０が配置される場所は、特に限定されないが、例えば、ダッシュボードの中央に配置されてもよい。または、表示装置３０の数は二つ以上あり、車内において、フロントガラスの両側方にそれぞれ配置されてもよい。
　制御装置２０は、各サイドカメラ１０Ｒ，１０Ｌから画像データを受信し、画像解析を行い、車両１００の側方または斜め後方のオブジェクトを認識し、必要に応じて制御対象６０を制御する。オブジェクトとは、例えば、自動車、バイク、自転車、および人等の少なくともいずれか一つである。制御対象は、例えば、ブレーキ、アクセル、ステアリング、および警告装置の少なくともいずれか一つである。また、制御装置２０は、各サイドカメラ１０Ｒ、１０Ｌからの画像データに対して所定の画像処理を施し、表示装置３０に表示させる画像データを生成する。
　以下、サイドカメラ１０及び制御装置２０それぞれの具体的な構成を説明する。
　　［１－１－１．制御装置］
　図２は、制御装置２０の構成を示すブロック図である。制御装置２０は、左サイドカメラ１０Ｌから画像データを入力するための第１インタフェース２３（回路）と、右サイドカメラ１０Ｒから画像データを入力するための第２インタフェース２４（回路）と、入力した画像データに対して画像処理及び画像解析を行うコントローラ２１と、データ等を格納するデータ記憶部２９とを備える。制御装置２０は、さらに、生成した画像データを表示装置３０へ送信する第３インタフェース２５（回路）と、制御対象６０を制御するための制御信号を制御対象６０へ送信する第４インタフェース２７（回路）と、を備える。
　コントローラ２１はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含み、データ記憶部２９に格納されたプログラムを実行することで種々の機能を実現する。コントローラ２１は、所望の機能を実現するように設計された専用のハードウェア回路を含んでも良い。すなわち、コントローラ２１は、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等を含んでもよい。
　データ記憶部２９は、ハードディスク装置、ＳＳＤ(Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ)、半導体メモリなどの記録媒体である。データ記憶部２９は、コントローラ２１で実行されるプログラムおよびデータ等を格納する。
　　［１－１－２．サイドカメラ］
　左サイドカメラ１０Ｌ及び右サイドカメラ１０Ｒは基本的に同様の構成を有するので、以下の説明では、便宜上、主として左サイドカメラ１０Ｌについて構成および動作を説明する。
　図３は、左サイドカメラ１０Ｌの構成を示すブロック図である。図３に示すように、左サイドカメラ１０Ｌは、光学系１１と、光学系１１を介して受光した被写体像を撮像し画像信号を生成する画像センサ１２と、画像信号に対して所定の画像処理（ガンマ補正、歪曲補正等）を施す信号処理回路１３と、信号処理回路１３で信号処理された画像信号を外部機器へ出力するためのインタフェース１４（回路）とを備える。
　光学系１１は、画像センサ１２の撮像面に像を結像させる光学素子である。光学系１１は、レンズ、絞り、およびフィルター等を含む。光学系１１の詳細は後述する。画像センサ１２は、光学信号を電気信号に変換する撮像素子であり、複数の画素が等間隔で二次元的に配置されている。画像センサ１２は例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＮＭＯＳ（ｎ‐Ｃｈａｎｎｅｌ　Ｍｅｔａｌ‐Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。
　図４は、左サイドカメラ１０Ｌが撮影可能な水平方向の画角（水平画角）の範囲を説明した図である。図４に示すように、左サイドカメラ１０Ｌは、水平方向において、１００°の画角の被写体領域Ｒ２０を撮像することができる。特に、被写体領域Ｒ２０の内側の、３０°の画角の被写体領域Ｒ１０においては、より大きな拡大率で撮像することができる。左サイドカメラ１０Ｌは、車両１００の側部に、車両の左側後部の一部が撮像されるように取り付けられている。
　図５は、左サイドカメラ１０Ｌが撮影可能な垂直方向の画角（垂直画角）の範囲を説明した図である。垂直方向において、図５に示すように、左サイドカメラ１０Ｌは８３°の画角の被写体領域Ｒ２０の被写体を撮像することができる。特に領域Ｒ２０の内側の２３°の画角の被写体領域Ｒ１０においては、より大きな拡大率で撮像することができる。なお、サイドカメラの光軸の方向または画角を調整することで、サイドカメラで所望の領域を撮像できる。
　図６は、左サイドカメラ１０Ｌの光学系１１を介して撮像される撮像画像における像の拡大率を説明するための図である。図６において左側が車両側となる。撮像画像３００Ｌにおいて領域Ｒ１（本開示の第１の領域の一例）は、比較的高い倍率で拡大される領域であり、被写体領域Ｒ１０に対応する。また、領域Ｒ２（本開示の第２の領域の一例）は、比較的低い倍率で拡大される領域であり、被写体領域Ｒ２０において被写体領域Ｒ１０を除いた領域に対応する。なお、領域Ｒ１および領域Ｒ２において倍率が不連続とならないように連続的かつ単調に変化するように光学系１１が設計されている。以下、このような光学特性を実現する光学系１１の構成について説明する。
　　［１－１－２－１．光学系］
　図７は、左サイドカメラ１０Ｌの光学系１１の具体的な構成例を示した図である。図７は、光軸Ｚを含む垂直面（画像センサの水平方向を法線とする平面）で光学系１１を仮想的に切断したときの断面図である。ここで、光軸Ｚは、画像センサ１２の撮像面の中心を通過し、撮像面と直交する仮想線である。なお、光学系１１が光を反射するミラーおよびプリズムなどの少なくとも一方を備えている場合は、光軸は反射によって屈曲する。図７に示すように、光学系１１は、複数のレンズ及び絞り１１５を含む。特に光学系１１は自由曲面レンズ１１１、１１２を含む。
　自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状で、且つ回転対称ではないレンズである。なお、シリンドリカルレンズも円弧状レンズの一種として、自由曲面レンズとは異なるレンズとする。自由曲面レンズは、真円の一部ではない非円弧状の形状を有する。自由曲面レンズの材質は、特に限定されるものではないが、ガラスまたは樹脂などを例示することができる。自由曲面レンズの製造方法も特に限定されるものではないが、例えば金型などの型を用いて自由曲面レンズを成形する製造方法を例示することができる。
　自由曲面レンズ１１１及び１１２の組は、画角に応じて、結像する像の拡大率を異ならせることが可能なレンズを構成する。自由曲面レンズ１１１及び１１２は、図６に示すように、撮像画像３００Ｌにおいて、一部の領域Ｒ１の拡大率が他の領域Ｒ２の拡大率よりも高くなるように設計される。高い拡大率を有する領域Ｒ１は、その中心Ｇ１が、撮像画像３００Ｌの中心Ｇ０から水平方向及び垂直方向の双方にシフトした位置に位置するように配置される。より具体的には、領域Ｒ１は、領域Ｒ１の中心Ｇ１が撮像画像３００Ｌの中心Ｇ０を基準として水平方向において車両側に、且つ、垂直方向において上方にシフトした位置になるように配置される。
　本実施の形態の画像センサ１２は水平方向及び垂直方向において均一な画素分布を有している。このため、左サイドカメラ１０Ｌの光学系１１により画像センサ１２の撮像面に結像される像の解像度は図８に示すようになる。図８に示すように、撮像画像３００Ｌにおいて、領域Ｒ１における像の解像度は高く（密）、領域Ｒ１の外の領域Ｒ２の像の解像度は領域Ｒ１に比して小さく（疎）なる。本実施の形態では、領域Ｒ１を画像解析に使用する領域に設定する。これにより、領域Ｒ１の画像は高い解像度を有するため、解析精度を高めることができる。
　ここで、像の解像度とは、光学系１１を介して画像センサ１２上に形成される単位画角の像を撮像するために使用される画像センサ１２の画素の数（単位画角当たりの画素の数）とする。解像度は下記式で定義される。
　　解像度＝所定画角の像を撮像するのに要する画素の数／所定画角　　　（１）
　図９を参照し、光学系１１により結像される像の解像度についてより具体的に説明する。図９は、光軸Ｚを含む水平面で光学系１１および画像センサ１２を仮想的に切断したときの、画像センサ１２上の結像状態を模式的に説明した図である。図９に示すように、水平方向における画角θｘの範囲の第一領域ｒ１の被写体像と、同じ画角θｘを有する第二領域ｒ２の被写体像とを光学系１１を介して画像センサ１２上に結像する場合を検討する。領域ｒ１は被写体領域Ｒ１０の一部であり、撮像画像において領域Ｒ１の一部に対応する。領域ｒ２は被写体領域Ｒ２０の一部であり、撮像画像において領域Ｒ２の一部に対応する。
　光学系１１は、撮像画像３００Ｌにおいて領域Ｒ１の拡大率Ｍ１が比較的高く、領域Ｒ２の拡大率Ｍ２が比較的低くなるように設計されている。光学系１１を介して画像センサ１２により、第一領域ｒ１の被写体を撮像した場合、図９に示すように、第一領域ｒ１の像は拡大率Ｍ１で拡大されて画像センサ１２の撮像面に結像される。一方、第二領域ｒ２の被写体を撮像した場合、拡大率Ｍ１よりも低い拡大率Ｍ２で像が拡大されて画像センサ１２の撮像面に結像される。このため、撮像面上の第二領域ｒ２の像の長さＬ２は第一領域ｒ１の像の長さＬ１よりも小さくなる。
　画像センサ１２上では画素が二次元的に等間隔で配置されているため、水平方向の像の長さが大きいほど、その像の撮像に要する画素の数は多くなる。つまり、長さＬ１の範囲に含まれる第一領域ｒ１の像を撮像するのに要する画素の数Ｎ１は、長さＬ２（＜Ｌ１）の範囲に含まれる第二領域ｒ２の像を撮像するのに要する画素の数Ｎ２よりも大きくなる。第一領域ｒ１の画角と第二領域ｒ２の画角は同じ（θｘ）である。したがって、第一領域ｒ１に対する像の解像度（＝Ｎ１／θｘ）は、第二領域ｒ２に対する像の解像度（＝Ｎ２／θｘ）よりも高くなる。第一領域ｒ１に対する像は、画像センサ１２の撮像面において第１の領域Ｒ１に対応する位置に結像される。第二領域ｒ２に対する像は、画像センサ１２の撮像面において第２の領域Ｒ２に対応する位置に結像される。このように、第１の領域Ｒ１内の像の解像度は第２の領域Ｒ２内の像の解像度よりも高くなる。なお、ここでいう第１の領域Ｒ１の解像度とは、第１の領域Ｒ１の平均の解像度とする。また、第２の領域Ｒ２の解像度とは、第２の領域Ｒ２の平均の解像度とする。
　図１０は、左サイドカメラ１０Ｌの光学系１１について、垂直方向および水平方向それぞれにおける画角に対する解像度（角度分解能）特性を示した図である。図１０においては、垂直方向及び水平方向の画角の中心を０°としている。図１０に示すように、垂直方向において、＋８°を中心として±１１．５°の範囲で画素密度が高くなっている。また、水平方向においては、－２５°を中心として±１５°の範囲で画素密度が高くなっている。換言すれば、垂直方向において＋８°かつ水平方向において－２５°の画角位置を中心として、垂直方向に±１１．５°かつ水平方向において±１５°の範囲（領域Ｒ１０）における解像度が、それ以外の範囲（領域Ｒ２０から領域Ｒ１０を除いた領域）の解像度よりも高くなっている。
　図１１は、右サイドカメラ１０Ｒの光学系について、垂直方向および水平方向それぞれにおける画角に対する解像度（角度分解能）特性を示した図である。図１１において、＋５０°側が車両側となる。図１０と図１１の特性では、垂直方向の特性が同じであるが、水平方向の特性が左右反転した特性となっている。すなわち、図１１に示すように、垂直方向において、＋８°を中心として±１１．５°の範囲で解像度が高くなっている。また、水平方向においては、＋２５°を中心として±１５°の範囲で解像度が高くなっている。換言すれば、垂直方向において＋８°かつ水平方向において＋２５°の画角位置を中心として、垂直方向に±１１．５°かつ水平方向において±１５°の範囲における解像度が、それ以外の範囲の解像度よりも高くなっている。
　以上のような光学特性を持つように自由曲面レンズ１１１及び１１２を設計することにより、図８に示すように、画像センサ１２により生成される撮像画像３００Ｌにおいて一部の領域Ｒ１に結像される像の解像度をそれ以外の領域Ｒ２に結像される像の解像度よりも大きく（すなわち、密に）することができる。
　なお、本実施の形態では、解像度が異なるとは、光学系（例えば、一般的な回転対称な球面レンズ及び非球面レンズを含む光学系）と平面の画像センサの組み合わせによって発生する解像度との相違を意味している。
　以上のような光学系１１を備えたサイドカメラ１０の効果について説明する。自動車の車両において従来のサイドミラーを電子ミラー化する場合、車両の近傍を検知するためには、図１２の（Ａ）に示すような広角Ｗ１の画像が必要となる。さらに、レーンチェンジする際に、後方の状況を検知するためには、図１２の（Ｂ）に示すような狭い画角Ｗ２の画像が必要となる。これは、画角が広いと、撮像画像における検知したい対象物の大きさが小さくなり、遠方の対象物の解像度が不足してセンシング精度が劣化するためである。そのため、二つの目的を達成するためには、広角Ｗ１の画像を撮影するカメラと、狭い画角Ｗ２の画像を撮影するカメラとをそれぞれ設ける必要があり、カメラ数が増加し、コストが増加するという課題があった。また、車両１００に設置されるカメラの数が増加することにより、車両デザイン性が低下し、また、空力特性が劣化するという課題があった。
　このような課題に対して、本実施の形態のような光学系１１を備えたサイドカメラ１０によれば、図１２の（Ｃ）に示すように、１つのカメラで、全体として広い画角の領域Ｒ２０を撮像でき、さらに一部の狭い画角の領域Ｒ１０をより高い拡大率（すなわち高い解像度）で撮像することができる。撮像画像における高い解像度の部分を画像解析することで、解析精度を向上することができ、換言するとより遠方の被写体まで検知することができる。また広角部分については検知対象が比較的近傍にあるため、拡大率を比較的抑えても（すなわち比較的低い解像度でも）充分な精度で検知することができる。すなわち、本実施の形態のサイドカメラ１０によれば、全体として広い画角を確保しつつ、画像解析に使用する一部の領域については高い解像度を持つ画像を撮像することができる。
　例えば、図１３の（Ａ）は、従来の広角カメラで撮影した画像である。この場合、後方検知の画像解析のために領域Ｒ０の部分を拡大すると、図１３の（Ｂ）に示すように解像度が低い画像が得られる。このような解像度が低い画像では、画像解析において物体を認識できず、車両後方を走行する、検知対象のバイク１０４を認識できない場合がある。
　これに対して、本実施の形態のサイドカメラ１０によれば、図１４の（Ａ）に示すように、画像解析に使用する領域Ｒ１において被写体（ここでは、バイク１０４）が拡大された画像が得られる。よって、この領域Ｒ１を切り出した場合、図１４の（Ｂ）に示すように解像度の高い画像が得られるため、画像解析において検知対象であるバイク１０４を精度よく認識することができる。換言すると、より遠方まで検知することが可能となる。なお、説明を容易にするため、図１２～図１４において、バイク１０４に乗車している運転者が省略されている。
　［１－２．動作］
　以上のように構成されたサイドカメラ１０及び制御装置２０の動作を以下に説明する。
　サイドカメラ１０は、車両１００の走行中または停車中に車両側方及び車両後方の画像を撮像し、画像データを生成して制御装置２０に送信する。
　制御装置２０は、第１インタフェース２３及び第２インタフェース２４を介してサイドカメラ１０から画像データを受信する。制御装置２０のコントローラ２１は、受信した画像データに対して所定の画像処理を施し、表示用画像データを生成し、第３インタフェース２５を介して表示装置３０へ送信する。表示装置３０は、制御装置２０から受信した画像データに基づき画像を表示する。車両１００のドライバは、表示装置３０に表示された画像を確認することで、車両の側方及び斜め後方の状況を把握することができる。
　さらに、制御装置２０のコントローラ２１は、サイドカメラ１０から受信した画像データを画像解析（センシング）して、車両の斜め後方の状況に関する様々な情報を取得する。このとき、コントローラ２１は、撮像画像において領域Ｒ１部分の画像を解析する。領域Ｒ１部分は高い解像度を有することから、精度良く解析を行うことができる。例えば、コントローラ２１は画像解析により、図１５に示すように、車両１００が走行中のレーンの隣のレーンの後方において走行中の自動車またはバイクがあるか否かを判断し、検知できる。また、コントローラ２１は、これらの自動車またはバイクが、どの程度の速度で自車両に近接してくるかを判断し、検知できる。そしてコントローラ２１は、検知した情報をドライバまたは車両に伝えることで、安全なレーンチェンジを実現できる。なお、図１５においても、説明を容易にするため、バイク１０４に乗車している運転者が省略されている。
　コントローラ２１は、画像解析の結果に基づき所定の制御対象６０に対する制御信号を生成し、第４インタフェース２７を介して制御対象６０に送信する。これにより、車両側方または後方の状況に応じて制御対象６０が制御される。制御対象６０は例えば、ブレーキ、アクセル、および警告装置の少なくともいずれか一つである。
　例えば、車両１００の左サイドカメラ１０Ｌの撮像画像の画像解析により、図１５に示すように、車両１００が走行中のレーンの隣のレーンにおいて、車両１００と並走する車両１０２があることを検出した場合、または、隣のレーンの後方において走行中のバイク１０４を検出した場合、コントローラ２１は、ステアリング動作を制御し、車両１００が隣のレーンに移動しないように車両１００の挙動を制御することができる。
　本実施の形態のサイドカメラ１０によれば、１つのカメラで広角画像を撮像しつつ、センシングに重要な一部の領域において解像度の高い画像を撮像できる。このため、カメラを２台設ける必要がなく、撮像装置の小型化が実現できる。
　このように、本実施の形態のサイドカメラ１０によれば、一台の装置で、広い画角範囲で撮影することができるとともに、センシングに重要な一部の領域において高い解像度で画像を撮影することができる。よって、装置数の低減が実現できる。また、装置全体の小型化を実現できる。また、撮影画像を用いた画像解析の精度を向上することができる。
　［１－３．効果等］
　以上のように、本実施の形態のサイドカメラ１０（本開示の撮像装置の一例）は、車両１００（本開示の移動体の一例）の側方に取り付けられる撮像装置である。サイドカメラ１０は、画像センサ１２と光学系１１とを備える。画像センサ１２は、複数の画素が二次元的に配置された撮像面を含む。画像センサ１２は、撮像面上に結像された被写体像から画像データを生成する。光学系１１は、所定の垂直画角（例えば、８３°）と所定の水平画角（例えば、１００°）の範囲に含まれる被写体像を画像センサ１２の撮像面上に結像させる。
　ここで、単位画角に含まれる被写体像を撮像する画素の数を解像度とする。撮像面は、被写体像のうち第１の被写体像を撮像する第1の領域（例えば図６の領域Ｒ１）と、第１の領域とは異なり、被写体像のうち第２の被写体像を撮像する第２の領域（例えば図６の領域Ｒ２）と、を含む。
　光学系１１は、撮像面の第１の領域Ｒ１における像の解像度が、第２の領域Ｒ２における像の解像度よりも高くなるように撮像面上に像を結像する。第１の領域Ｒ１は、その領域の中心Ｇ１の位置が水平画角の中心から水平にシフトした位置に配置されてもよい。例えば、第１の領域Ｒ１は、水平方向において、水平画角の中心Ｇ０から、車両１００の一部の画像を結像する領域に近い方にシフトした位置に配置されてもよい。
　上記構成により、撮像画像（例えば、車両の側方及び斜め後方を撮像した画像）において第１の領域Ｒ１の解像度を他の領域Ｒ２の解像度よりも高くできる。これにより、１台の装置で、全体として広い画角を確保しつつ、画像解析に必要な領域の画像の解像度を高くした画像の撮像が可能になり、撮像画像の解析精度を向上できる。すなわち、装置の大型化及びコストの増大を抑制できる。また、第１の領域Ｒ１の中心Ｇ１を、水平画角の中心から水平にシフトした位置に配置することにより、例えば隣のレーンの車両が撮像される領域を高解像度に撮像できる。よって、画像解析により必要な領域の解像度を高くできる。
　また、本実施の形態では、第１の領域Ｒ１は、水平画角の中心から、車両１００の画像を結像する領域に向かって水平にシフトした位置に配置されてもよい。これにより、第１の領域Ｒ１において、車両１００の隣接するレーンを走行する車両の像が結像されやすくなる。つまり、隣接するレーンを走行する車両をより確実に検出できるようになる。
　さらに、本実施の形態では、第１の領域Ｒ１の中心Ｇ１の位置は、垂直画角の中心からシフトした位置になるように配置されてもよい。例えば、第１の領域Ｒ１の中心Ｇ1は、垂直画角の中心から、車両１００の斜め後方の画像が撮像される領域に近づくように、垂直にシフトした位置に配置されてもよい。これにより、より画像解析に必要な領域の画像の解像度を高くでき、撮像画像の解析精度を向上できる。
　また、本実施の形態では、水平画角および前記所定の垂直画角のそれぞれにおける解像度のピークの数は、一つであってもよい。解像度のピーク数を一つにすることにより、より画像解析に必要な領域の解像度を高くでき、撮像画像の解析精度を向上できる。
　また、本実施の形態では、光学系１１は自由曲面レンズ１１１、１１２を含んでもよい。これにより、光学系において画角に応じて変化する拡大率を自由に設計できる。
　また、本実施の形態では、サイドカメラ１０は、車両１００の側方に取り付けられたときに、車両１００の側方および斜め後方の画像を撮像してもよい。これにより、例えばレーンチェンジの際に安全確認したい領域を撮像できる。
　なお、サイドカメラ１０により生成された画像データを、車両のフロントガラスの側方に投影、または表示すれば、サイドミラーを電子ミラー化できる。この場合、電子ミラーに表示される画像は、図１４の（Ａ）に示す画像を補正した画像であってもよい。つまり、図１４の（Ａ）に示す画像は、領域Ｒ１が大きく表示され、領域Ｒ２が小さく表示されるため、歪んだ画像となっている。したがって、画像を電子ミラーに表示する場合は、図１４の（Ａ）に示す画像の拡大率を平均化した画像を表示してもよい。
　具体的には、領域Ｒ１の画素を減らしてもよい。この場合、電子ミラーに表示される領域Ｒ１の画像は小さくなる。しかし、領域Ｒ１のデータ量は領域Ｒ２のデータ量よりも多いため、領域Ｒ１の画像は小さくても明瞭な画像となる。また、領域Ｒ２の画素を増やしてもよい。この場合、電子ミラーに表示される領域Ｒ２の画像は大きくなる。領域Ｒ２のデータ量は比較的少ないため、データが補完されてもよい。
　一方で、サイドカメラ１０で生成された画像データを専らセンシング用の画像解析に用いられる場合は、画像を補正する必要はない。つまり、図１４の（Ａ）に示すような歪んだ画像のデータをそのまま解析に用いればよい。
　（実施の形態２）
　実施の形態１では、一部の領域Ｒ１の解像度が高い撮像画像を得るために、光学系１１を、自由曲面レンズを用いて構成した。しかし、必ずしも光学系１１に自由曲面レンズを使用しなくてもよい。このような撮像画像は、画像センサ１２の画素分布を工夫することで、通常の回転対称な光学系を用いても実現することができる。以下、自由曲面レンズを含まない光学系を備えたサイドカメラ１０の構成を説明する。
　図１６は、実施の形態１のサイドカメラ１０における画像センサ１２の画素分布と、光学系１１と画像センサ１２の組み合わせにより撮像される撮像画像の解像度分布とを説明した図である。図１７は、実施の形態２のサイドカメラ１０ｂにおける画像センサ１２ｂの画素分布と、光学系１１ｂと画像センサ１２ｂの組み合わせにより撮像される撮像画像３００ｂの解像度分布とを説明した図である。
　図１６に示すように、実施の形態１においては、画像センサ１２は、複数の画素が二次元的に等間隔に配置されている。このような画像センサ１２の撮像面に対して、光学系１１の自由曲面レンズ１１１、１１２により、一部の領域Ｒ１の解像度が高い像が形成される。その結果、領域Ｒ１の解像度が高く、それ以外の領域の解像度が低くなる撮像画像を得ることができる。
　これに対して、本実施の形態では、図１７に示すように、サイドカメラ１０は、回転対称なレンズである光学系１１ｂと、特定の画素分布を有する画像センサ１２ｂとを備える。光学系１１ｂは、均一な画素分布を有する画像センサ上に像を結像したときの垂直方向及び水平方向の解像度に関して、図１８に示すような解像度（角度分解能）特性を有するようなレンズである。すなわち、光学系１１ｂは、垂直方向及び水平方向における画角に対して同一の解像度特性を有する。
　画像センサ１２ｂは、図１９に示すように、中心からシフトした領域Ｒ１に対応する領域の画素密度が高く、それ以外の領域（領域Ｒ２に対応する部分）の画素密度が低くなるような画素分布を有する。図１９に示すように、垂直方向において、＋８°を中心として±１１．５°の範囲で画素密度が高くなっている。一方、水平方向においては、－２５°を中心として±１５°の範囲で画素密度が高くなっている。このような光学系１１ｂと画像センサ１２ｂの組み合わせにより、実施の形態１の場合と同様の解像度分布を有する撮像画像３００ｂを得ることができる。
　以上のように、本実施の形態のサイドカメラ１０ｂは、車両１００（移動体の一例）の側方に取り付けられる撮像装置である。サイドカメラ１０ｂは、画像センサ１２ｂと、光学系１１ｂとを備える。画像センサ１２ｂは、複数の画素が二次元的に配置された撮像面を含む。画像センサ１２ｂは、撮像面上に結像された被写体像から画像データを生成する。光学系１１ｂは、所定の垂直画角と所定の水平画角の範囲にある被写体像を画像センサ１２ｂの撮像面上に結像させる。ここで、単位画角に含まれる被写体像を撮像する画素の数を解像度とする。光学系１１ｂは、撮像面上に均一な解像度で像を結像する。画像センサ１２ｂは、撮像面の第１の領域Ｒ１に対応する領域の画素密度が、第１の領域と異なる第２の領域Ｒ２に対応する領域の画素密度よりも高くなるような画素分布を有する。第１の領域Ｒ１は、その領域の中心Ｇ１の位置が水平画角の中心からシフトした位置になるように配置される。さらに、第１の領域Ｒ１の中心Ｇ１の位置が垂直画角の中心からシフトした位置になるように配置される。
　上記の構成によって、実施の形態１と同様に、撮像画像において中央部分の領域Ｒ１の解像度をそれ以外の領域Ｒ２の解像度よりも高くできる。これにより、全体として広い画角を確保しつつ、画像解析に必要な中央部分の画像の解像度を高くした画像の撮像が可能になり、撮像画像の解析精度を向上できる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、または省略などを行った実施の形態にも適用可能である。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
　上記の実施の形態では、表示装置として、電子ルームミラーと車載ディスプレイを例示したが、表示装置の種類はこれらに限定されない。本開示の思想は、用途に応じて種々のタイプの表示装置（例えば、ヘッドアップディスプレイ）を用いた表示システムに適応できる。
　上記の実施の形態では、サイドカメラ１０の信号処理回路１３において、画像に対するガンマ補正、および歪曲補正等を行ったが、これらの画像処理を制御装置２０において行ってもよい。
　上記の実施の形態では、移動体の一例として、自動車の車両１００を説明したが、移動体は自動車に限らない。上記の実施の形態の撮像装置を、他の移動体、例えば、鉄道、船舶、航空機、ロボット、ロボットアーム、ドローン、コンバインなどの農業用機械、またはクレーンなどの建設用機械に適用してもよい。
　上記の実施の形態で示した画角および解像度等は一例であり、画像解析したい対象（物、事象）に応じて適宜設定することができる。
　上記の実施の形態では、光学系において自由曲面レンズを用いたが、自由曲面レンズに代えて、画角に応じて拡大率（解像度）を自由に設計できるレンズであれば、他の種類のレンズを用いても良い。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示の撮像装置は、全体として広い画角を確保しつつ、画像解析に必要な中央部分の画像の解像度を高くした画像の撮像が可能になり、撮像画像の解析精度を向上でき、種々の用途（移動体での撮像システムまたは表示システム等）に適用することができる。
　１０　サイドカメラ
　１０Ｒ　右サイドカメラ
　１０Ｌ　左サイドカメラ
　１１、１１ｂ　光学系
　１２、１２ｂ　画像センサ
　１３　信号処理回路
　１４　インタフェース
　２０　制御装置
　２１　コントローラ
　２３、２５、２７　インタフェース
　２９　データ記憶部
　３０　表示装置
　６０　制御対象
　１００　自動車の車両
　１１１、１１２　自由曲面レンズ
　Ｒ１　撮像画像における像の解像度（拡大率）が比較的高い領域
　Ｒ２　撮像画像における像の解像度（拡大率）が比較的低い領域
　ｒ１、ｒ２　被写体の領域
　Ｚ　光軸

Claims (8)

  1. 　移動体の側方に取り付けられる撮像装置であって、
    　複数の画素が二次元的に配置された撮像面を含み、前記撮像面上に結像された被写体像から画像データを生成する画像センサと、
    　所定の垂直画角と所定の水平画角の範囲に含まれる前記被写体像を前記撮像面上に結像させる光学系と、を備え、
    　単位画角に含まれる前記被写体像を撮像する画素の数を解像度とし、
    　前記撮像面は、前記被写体像のうち第１の被写体像を撮像する第1の領域と、前記第１の領域とは異なり、前記被写体像のうち第２の被写体像を撮像する第２の領域と、を含み、
    　前記光学系は、前記第１の領域の解像度が、前記第２の領域の解像度よりも高くなるように前記撮像面上に前記被写体像を結像し、
    　前記第１の領域の中心の位置は、前記所定の水平画角の中心から水平にシフトした位置、および前記所定の垂直画角の中心から垂直にシフトした位置の少なくとも一方である、
    撮像装置。
  2. 　前記所定の水平画角および前記所定の垂直画角のそれぞれにおける前記解像度のピークの数は、一つである、請求項１に記載の撮像装置。
  3. 　前記光学系は自由曲面レンズを含む、請求項１または２に記載の撮像装置。
  4. 　前記第１の領域の前記中心の前記位置は、前記水平画角の前記中心から、前記移動体の一部の画像を結像する領域に向かって水平にシフトした前記位置に配置される、請求項１～３のいずれか一つに記載の撮像装置。
  5. 　前記移動体の前記側方に取り付けられたときに、前記移動体の前記側方及び斜め後方の画像を撮像する、請求項１～４に記載のいずれか一つに記載の撮像装置。
  6. 　前記移動体は、自動車、鉄道、船舶、航空機、ロボット、ロボットアーム、ドローン、農業用機械、および建設用機械のいずれか一つである、請求項１～５のいずれか一つに記載の撮像装置。
  7. 　請求項１～６のいずれか一つに記載の撮像装置と、
    　前記撮像装置により生成された前記画像データに基づき画像を表示する表示装置と、
    を備えた表示システム。
  8. 　請求項１～６のいずれか一つに記載の撮像装置と、
    　前記撮像装置により生成された画像データを解析する制御装置と、
    を備えた撮像システム。
PCT/JP2018/040176 2017-12-19 2018-10-29 撮像装置、撮像システム、および表示システム WO2019123840A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880005109.0A CN110178369B (zh) 2017-12-19 2018-10-29 摄像装置、摄像系统以及显示系统
EP18889962.9A EP3547678B1 (en) 2017-12-19 2018-10-29 Imaging device, imaging system, and display system
JP2019519362A JP7266165B2 (ja) 2017-12-19 2018-10-29 撮像装置、撮像システム、および表示システム
US16/413,733 US10917610B2 (en) 2017-12-19 2019-05-16 Imaging apparatus, imaging system, and display system
US17/140,202 US11310461B2 (en) 2017-12-19 2021-01-04 Imaging apparatus, imaging system, and display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017242761 2017-12-19
JP2017-242761 2017-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/413,733 Continuation US10917610B2 (en) 2017-12-19 2019-05-16 Imaging apparatus, imaging system, and display system

Publications (1)

Publication Number Publication Date
WO2019123840A1 true WO2019123840A1 (ja) 2019-06-27

Family

ID=66992778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/040176 WO2019123840A1 (ja) 2017-12-19 2018-10-29 撮像装置、撮像システム、および表示システム

Country Status (5)

Country Link
US (2) US10917610B2 (ja)
EP (1) EP3547678B1 (ja)
JP (1) JP7266165B2 (ja)
CN (1) CN110178369B (ja)
WO (1) WO2019123840A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220010878A (ko) * 2020-07-20 2022-01-27 주식회사 픽셀로 디스플레이 장치, 이를 구비한 이동수단 및 그 표시 방법
WO2022140896A1 (zh) * 2020-12-28 2022-07-07 深圳元戎启行科技有限公司 多视场角的图像获取方法、装置、计算机设备和存储介质
JP2023047495A (ja) * 2021-09-27 2023-04-06 キヤノン株式会社 移動体、画像処理方法、およびコンピュータプログラム
JP2023057644A (ja) * 2021-10-12 2023-04-24 キヤノン株式会社 撮像装置、画像処理システム、移動体、画像処理システムの制御方法およびプログラム
JP7434476B2 (ja) 2021-09-24 2024-02-20 キヤノン株式会社 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507097B2 (en) 2018-02-05 2022-11-22 Pixart Imaging Inc. Control apparatus for auto clean machine and auto clean machine control method
US10909668B1 (en) * 2019-07-31 2021-02-02 Nxp Usa, Inc. Adaptive sub-tiles for distortion correction in vision-based assistance systems and methods
CN113542665B (zh) * 2020-04-17 2022-08-26 杭州海康汽车软件有限公司 一种成像系统及成像方法
JP2022036669A (ja) * 2020-08-24 2022-03-08 東芝テック株式会社 撮影装置および撮影方法
JP7400705B2 (ja) * 2020-11-30 2023-12-19 トヨタ自動車株式会社 撮像システム及び撮像装置
JP2022184109A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 撮像システム、移動装置、制御方法およびプログラム
WO2023022908A1 (en) * 2021-08-16 2023-02-23 Gentex Corporation Dual-function imaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295604A (ja) * 1999-04-06 2000-10-20 Yazaki Corp 車両用後側方監視装置
JP2003510666A (ja) * 1999-09-30 2003-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ トラッキングカメラ
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
JP2015032936A (ja) 2013-08-01 2015-02-16 日産自動車株式会社 撮像装置
JP2015152780A (ja) * 2014-02-14 2015-08-24 パナソニックＩｐマネジメント株式会社 光学系およびそれを用いた撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5355309A (en) * 1992-12-30 1994-10-11 General Electric Company Cone beam spotlight imaging using multi-resolution area detector
JP3832902B2 (ja) * 1996-08-30 2006-10-11 本田技研工業株式会社 半導体イメージセンサ
JP4062145B2 (ja) * 2003-03-25 2008-03-19 コニカミノルタホールディングス株式会社 撮像装置
JP2007049266A (ja) 2005-08-08 2007-02-22 Olympus Corp 画像撮像装置
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
JP6454490B2 (ja) * 2014-07-17 2019-01-16 ルネサスエレクトロニクス株式会社 半導体装置及びランプ信号の制御方法
DE102014215372A1 (de) * 2014-08-05 2016-02-11 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem
DE102014018040A1 (de) * 2014-12-05 2016-06-09 Mekra Lang Gmbh & Co. Kg Sichtsystem
JP2016126254A (ja) * 2015-01-07 2016-07-11 コニカミノルタ株式会社 撮像レンズ、撮像装置及び投影装置
DE102015202330A1 (de) * 2015-02-10 2016-08-11 Continental Automotive Gmbh Fahrerassistenzsystem
JP6683451B2 (ja) * 2015-10-09 2020-04-22 株式会社東海理化電機製作所 車両用視認装置
EP3163259B1 (en) * 2015-10-28 2019-11-27 Nokia Technologies Oy An apparatus and method of forming a sensor array using the apparatus
US9759891B2 (en) * 2015-12-01 2017-09-12 Calin Technology Co., Ltd. Wide angle lens
CN107102422B (zh) * 2017-05-09 2023-08-15 东莞市宇瞳光学科技股份有限公司 一种大光圈超广角超高清变焦镜头
CN107018386A (zh) * 2017-06-08 2017-08-04 柳州智视科技有限公司 一种视频流多分辨率观测系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000295604A (ja) * 1999-04-06 2000-10-20 Yazaki Corp 車両用後側方監視装置
JP2003510666A (ja) * 1999-09-30 2003-03-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ トラッキングカメラ
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
JP2015032936A (ja) 2013-08-01 2015-02-16 日産自動車株式会社 撮像装置
JP2015152780A (ja) * 2014-02-14 2015-08-24 パナソニックＩｐマネジメント株式会社 光学系およびそれを用いた撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3547678A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220010878A (ko) * 2020-07-20 2022-01-27 주식회사 픽셀로 디스플레이 장치, 이를 구비한 이동수단 및 그 표시 방법
KR102536106B1 (ko) 2020-07-20 2023-05-24 주식회사 픽셀로 디스플레이 장치, 이를 구비한 이동수단 및 그 표시 방법
WO2022140896A1 (zh) * 2020-12-28 2022-07-07 深圳元戎启行科技有限公司 多视场角的图像获取方法、装置、计算机设备和存储介质
JP7434476B2 (ja) 2021-09-24 2024-02-20 キヤノン株式会社 画像処理システム、画像処理方法、撮像装置、光学系、およびコンピュータプログラム
JP2023047495A (ja) * 2021-09-27 2023-04-06 キヤノン株式会社 移動体、画像処理方法、およびコンピュータプログラム
JP2023057644A (ja) * 2021-10-12 2023-04-24 キヤノン株式会社 撮像装置、画像処理システム、移動体、画像処理システムの制御方法およびプログラム

Also Published As

Publication number Publication date
EP3547678A4 (en) 2020-01-29
EP3547678A1 (en) 2019-10-02
CN110178369A (zh) 2019-08-27
CN110178369B (zh) 2021-07-27
US20190273889A1 (en) 2019-09-05
JP7266165B2 (ja) 2023-04-28
US20210127086A1 (en) 2021-04-29
EP3547678B1 (en) 2022-07-20
US10917610B2 (en) 2021-02-09
US11310461B2 (en) 2022-04-19
JPWO2019123840A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
WO2019123840A1 (ja) 撮像装置、撮像システム、および表示システム
JP6349558B1 (ja) 撮像システム及び表示システム
EP3501898B1 (en) Imaging device, display system, and imaging system
JP6807543B2 (ja) 撮像装置
US20190100156A1 (en) System and method for controlling a display
JP6459016B2 (ja) 撮像システム、および、移動体システム
WO2020153317A1 (ja) 車載カメラ
US20180338095A1 (en) Imaging system and moving body control system
JP6653456B1 (ja) 撮像装置
JP7170167B2 (ja) 撮像装置、表示システム、および撮像システム
CN111345036A (zh) 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
WO2018207393A1 (ja) 撮像システム及び表示システム
US20230101459A1 (en) Mobile object, image processing method, and storage medium
JP6439233B2 (ja) 車両用画像表示装置及び画像処理方法
EP3691242A1 (en) Image capture device and moving body
US20240114253A1 (en) Movable apparatus and installation method for imaging device
US20240114252A1 (en) Movable apparatus and installation method for imaging device
JP5827561B2 (ja) 立体物判定装置
JP6586972B2 (ja) 車両用画像表示装置及び画像処理方法
JP2023057644A (ja) 撮像装置、画像処理システム、移動体、画像処理システムの制御方法およびプログラム
JP2023077492A (ja) カメラシステム、移動体、制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019519362

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018889962

Country of ref document: EP

Effective date: 20190627

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18889962

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE