WO2018016305A1 - 撮像システム、および、移動体システム - Google Patents

撮像システム、および、移動体システム Download PDF

Info

Publication number
WO2018016305A1
WO2018016305A1 PCT/JP2017/024295 JP2017024295W WO2018016305A1 WO 2018016305 A1 WO2018016305 A1 WO 2018016305A1 JP 2017024295 W JP2017024295 W JP 2017024295W WO 2018016305 A1 WO2018016305 A1 WO 2018016305A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
region
optical system
resolution
Prior art date
Application number
PCT/JP2017/024295
Other languages
English (en)
French (fr)
Inventor
雅之 粟飯原
成功 八釣
善夫 松村
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2017552518A priority Critical patent/JP6459016B2/ja
Priority to EP17830825.0A priority patent/EP3319306B1/en
Publication of WO2018016305A1 publication Critical patent/WO2018016305A1/ja
Priority to US15/888,002 priority patent/US11159744B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/18—Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/02—Simple or compound lenses with non-spherical faces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an imaging system that generates an image of a predetermined area as image data, and a mobile system including the imaging system.
  • Patent Document 1 discloses a technique for suppressing a decrease in resolution of a composite image when an abnormality occurs in one image capturing apparatus in an apparatus that combines images based on a plurality of image capturing apparatuses arranged in a vehicle. Are listed.
  • an imaging system capable of achieving a high resolution in a required imaging area even with one imaging device by using a free-form surface lens, and a mobile system including the imaging system will be disclosed.
  • An imaging system includes an imaging device having an imaging device in which a plurality of imaging pixels are arranged in a matrix, an optical system that forms an image of a predetermined region on an imaging surface of the imaging device, and the imaging A generation unit that generates an image based on image data acquired from the element, and the optical system has a resolution of a number of the imaging pixels that capture an image included in a unit angle of view.
  • a free-form surface lens having a shape capable of forming an image on the imaging surface such that the resolution and the resolution of other parts of the region are different from each other;
  • a mobile system includes an imaging device having an imaging device in which a plurality of imaging pixels are arranged in a matrix, and an optical system that forms an image of a predetermined region on an imaging surface of the imaging device, A moving body to which an imaging device is attached and moving in space; a generation unit that generates an image based on image data acquired from the imaging element; and a display device that displays an image generated by the generation unit,
  • the optical system is connected to the imaging surface so that the resolution of a part of the region differs from the resolution of the other part of the region, where the resolution is the number of imaging pixels that capture an image included in a unit angle of view.
  • a free-form surface lens having a shape that can be imaged is provided.
  • the imaging system and the moving body system of the present disclosure can obtain a high-resolution image and a low-resolution image in one imaging device by using a free-form surface lens.
  • FIG. 1 is a diagram illustrating imaging regions of a plurality of imaging devices attached to the vehicle according to Embodiment 1 on a horizontal plane.
  • FIG. 2 is a block diagram illustrating a mechanism unit and a function unit of the mobile system according to the first embodiment.
  • FIG. 3 is a configuration diagram illustrating a cross section obtained by virtually cutting the second optical system according to Embodiment 1 along a vertical plane including the second optical axis.
  • FIG. 4 is a diagram for explaining the resolution using the second optical system according to the first embodiment.
  • FIG. 5 is a diagram illustrating a state of resolution based on the free-form surface lens according to Embodiment 1.
  • FIG. 6 is a diagram illustrating image data indicating the rear of the moving object generated by the generation unit according to the first embodiment.
  • FIG. 7 is a diagram illustrating a state in which an image is formed on an imaging device using a conventional fisheye lens.
  • FIG. 8 is a diagram illustrating a state in which an image is formed on the imaging apparatus by the free-form surface lens according to the first embodiment.
  • FIG. 9 is a diagram illustrating an imaging region of each of a plurality of imaging devices attached to the moving body according to the second embodiment.
  • FIG. 10 is a block diagram illustrating a mechanism unit and a function unit of the mobile system according to the second embodiment.
  • FIG. 11 shows the images generated by the generation unit according to the second embodiment in stages.
  • drawings are schematic diagrams in which emphasis, omission, and ratio adjustment are appropriately performed for the present disclosure, and may differ from actual shapes, positional relationships, and ratios.
  • FIG. 1 is a diagram illustrating an imaging region of each of a plurality of imaging devices attached to a vehicle on a horizontal plane.
  • FIG. 2 is a block diagram showing a mechanism part and a function part of the mobile system.
  • the moving body system 200 includes an imaging system 100 and can display an image of a region in a predetermined direction centered on the moving body.
  • An imaging device a generation unit 105, and a display device 202.
  • the imaging device includes a first imaging device 110, a second imaging device 120, a third imaging device 130, and a fourth imaging device 140.
  • the moving body 201 is a device that moves in space with the imaging device attached.
  • the moving body 201 is a vehicle such as an automobile that can carry a person on the road.
  • the imaging device is a device that can convert an image included in a predetermined region into image data, and includes an imaging element and an optical system.
  • the imaging system 100 included in the mobile system 200 includes a first imaging device 110, a second imaging device 120, a third imaging device 130, and a fourth imaging device 140 as imaging devices. I have.
  • An imaging element is an element that can convert an image optically connected to an imaging surface into image data by a plurality of imaging pixels arranged in a matrix, and is a so-called imaging sensor such as a CMOS or CCD. is there.
  • each imaging device includes a first imaging element 111, a second imaging element 121, a third imaging element 131, and a fourth imaging element 141 as imaging elements.
  • the optical system is a device that forms an image of a predetermined region on the imaging surface of the imaging device, and is configured by a combination of a plurality of lenses, a diaphragm, a filter, and the like.
  • at least one of the plurality of lenses included in the optical system is a free-form surface lens.
  • each imaging apparatus includes a first optical system 112, a second optical system 122, a third optical system 132, and a fourth optical system 142 as optical systems.
  • the optical system will be specifically described by taking the second optical system 122 as an example.
  • FIG. 3 is a configuration diagram showing a cross section of the second optical system virtually cut along a horizontal plane including the second optical axis.
  • FIG. 3 is a configuration diagram showing a cross section obtained by virtually cutting the second optical system along a vertical plane including the second optical axis.
  • FIG. 4 is a diagram for explaining the resolution using the second optical system.
  • the second optical system 122 is a device that forms an image included in a predetermined area on the imaging surface of the second imaging element 121.
  • the second optical system 122 includes a second free-form surface lens 123 in a cross section of a plane (horizontal plane) including a first axis (left and right axis in the figure) orthogonal to the second optical axis 129 and the second optical axis 129.
  • 124 has a shape that forms an image on the second image sensor 121 such that the resolution of the central portion that is a part of the second region 302 (see FIG. 1) is higher than the resolution of both end portions of the second region 302.
  • the optical axis is a virtual line that passes through the center (center) of the imaging surface of the imaging device and is perpendicular to the imaging surface.
  • the optical system includes a mirror or prism that reflects light
  • the optical axis is bent by reflection.
  • the resolution is the number of imaging pixels that capture an image included in a unit angle of view.
  • the angle of view of the first partial region r1 (dark color portion) including the second optical axis 129 and the angle of view of the second partial region r2 adjacent thereto are the same at ⁇ 1.
  • the length of the image connected to the imaging surface of the second imaging element 121 is longer in the image corresponding to the first partial region r1 than in the image corresponding to the second partial region r2.
  • the second imaging element 121 includes imaging pixels at equal intervals. As described above, when the angle of view is the same angle, the higher the number of imaging pixels that capture images corresponding to these, the higher the resolution.
  • the difference in resolution is more than the difference in resolution caused by the combination of an optical system consisting mainly of spherical lenses and a planar imaging device, that is, the difference between the resolution near the optical axis and the resolution farthest from the optical axis. Means different.
  • a free-form surface lens is a lens whose surface that refracts light for imaging is non-arc-shaped and not rotationally symmetric.
  • the cylindrical lens is also a kind of arc lens, and is a lens different from the free-form surface lens.
  • the free-form surface lens for example, the second free-form surface lens 123 has a cross section virtually cut along a plane (horizontal plane) including the second optical axis 129 and the first axis (left-right axis) as shown in FIG.
  • the material of the free-form surface lens is not particularly limited, and examples thereof include glass and resin.
  • the manufacturing method of the free-form surface lens is not particularly limited, and for example, a manufacturing method for forming the free-form surface lens using a mold such as a mold can be exemplified.
  • the generation unit 105 is a processing unit that generates one or more images based on image data acquired from the imaging element of the imaging device via the interface 106, and shape data indicating the shape of the free-form surface lens included in the optical system of the imaging device. And an image generated based on the shape data is corrected, and the image is brought close to an image when a free-form surface lens is not used, that is, an actual image.
  • the generation unit 105 may have a function of synthesizing images based on the plurality of image data and cutting out necessary portions to generate one or more synthesized images. .
  • the generation unit 105 may be configured by dedicated hardware, and is realized by a program execution unit such as an arithmetic element reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory. May be.
  • the first imaging device 110 is attached to the right side of the moving body 201 so that the right side of the moving body 201 can be imaged, and the first imaging device 111 and the moving body on the imaging surface of the first imaging device 111. And a first optical system 112 that forms an image of the first region 301 on the right side of 201.
  • the second imaging device 120 is attached to the rear part of the moving body 201 so that the rear side of the moving body 201 can be imaged, and the moving body on the imaging surface of the second imaging element 121 and the second imaging element 121. And a second optical system 122 that forms an image of the second region 302 behind 201.
  • the third imaging device 130 is attached to the left side of the moving body 201 so that the left side of the moving body 201 can be imaged.
  • the third imaging device 131 and the moving body on the imaging surface of the third imaging device 131 are attached.
  • a third optical system 132 that forms an image of the third region 303 on the left side of 201.
  • the fourth imaging device 140 is attached to the front portion of the moving body 201 so that the front direction of the moving body 201 can be imaged, and the moving body is placed on the imaging surface of the fourth imaging element 141 and the fourth imaging element 141. And a fourth optical system 142 that forms an image of the fourth region 304 ahead of 201.
  • the first area 301 partially overlaps with both the fourth area 304 and the second area 302.
  • the second area 302 partially overlaps with both the first area 301 and the third area 303.
  • the third area 303 partially overlaps with both the second area 302 and the fourth area 304.
  • the fourth area 304 partially overlaps with both the third area 303 and the first area 301.
  • the mobile body system 200 and the imaging system 100 can generate an image showing the entire periphery of the mobile body 201.
  • the total angle of view in the horizontal plane of the imaging device is not particularly limited, but for example, all are about 180 °.
  • Each imaging device also has a field of view that extends to the vertical plane, and the total angle of view in the vertical plane is, for example, about 150 °.
  • the same type of imaging sensor is employed for the first imaging element 111, the second imaging element 121, the third imaging element 131, and the fourth imaging element 141 included in each imaging apparatus.
  • the first optical system 112 is arranged on the imaging surface of the first imaging element 111 so that the resolution of the portion overlapping the second region 302 is higher than the resolution of the other portion of the first region 301.
  • a first free-form surface lens having a shape capable of forming an image is provided.
  • the high resolution part of the first area 301 may be set to be equal to or more than the part overlapping the second area 302.
  • the second optical system 122 is configured so that the resolution of a portion that does not overlap the first region 301 and the third region 303 is higher than the resolution of the overlapping portion.
  • a second free-form surface lens 123 having a shape capable of forming an image on the imaging surface is provided.
  • the third optical system 132 has a shape that forms an image on the third image sensor 131 so that a portion overlapping the second region 302 in the third region 303 has a higher resolution than other portions. And a third free-form surface lens.
  • the high resolution portion of the third region 303 may be set to be equal to or higher than the portion overlapping the second region 302.
  • the fourth optical system 142 has a shape that forms an image on the fourth image sensor 141 so that the central portion has the highest resolution and the resolution gradually decreases toward the side. It has four free-form curved lenses.
  • the generation unit 105 acquires image data of a portion where the first region 301 and the second region 302 overlap from the first image sensor 111, and the third region 303 and the second region 302. Are acquired from the third image sensor 131. And these image data and the high-resolution part of the image data acquired from the 2nd image sensor 121 are synthesize
  • the synthesized image obtained as a result is an image showing the rear of the moving body 201 and can be an image with high resolution over the entire area from one end in the left-right direction behind the moving body 201 to the other end.
  • the generation unit 105 performs the distortion correction / viewpoint conversion processing from the image data acquired from the first imaging element 111, the second imaging element 121, the third imaging element 131, and the fourth imaging element 141, and Alignment is performed based on the image data of the overlapping portion, and a composite image showing the entire periphery of the moving body 201 is generated. Thereby, a so-called top view image can be obtained.
  • the top view image can be formed using the four imaging apparatuses, and the rear of the moving body 201 has a high resolution. It can be shown as an image.
  • the display device 202 is a device that displays the image generated by the generation unit 105.
  • the display device 202 is installed in a room of the moving body 201 and is easily visible to a driver who drives the moving body 201.
  • the display device 202 includes a first display device (not shown) and a second display device (not shown), and the first display device displays a high-resolution image showing the rear of the moving body 201.
  • the second display device displays a so-called top view image showing the entire periphery of the moving body 201 together with an image virtually showing the moving body 201. According to this, it is possible to perform assistance when the moving body 201 is parked by the four imaging devices, and it is also possible to perform assistance such as lane change when the moving body 201 is traveling. .
  • FIG. 9 is a diagram showing each imaging region of a plurality of imaging devices attached to the vehicle in the horizontal plane according to the second embodiment.
  • FIG. 10 is a block diagram showing a mechanism part and a function part of the mobile system according to the second embodiment.
  • the moving body system 200 includes an imaging system 100 and can display an image of a region in a predetermined direction centered on the moving body.
  • An imaging device a generation unit 105, and a display device 202.
  • the imaging device is a device that can convert an image included in a predetermined region into image data, and includes an imaging element and an optical system.
  • the imaging system 100 included in the moving body system 200 includes a fifth imaging device 150, a sixth imaging device 160, a seventh imaging device 170, and an eighth imaging device 180 as imaging devices. I have.
  • An imaging element is an element that can convert an image optically connected to an imaging surface into image data by a plurality of imaging pixels arranged in a matrix, and is a so-called imaging sensor such as a CMOS or CCD. is there.
  • each imaging device includes a fifth imaging element 151, a sixth imaging element 161, a seventh imaging element 171, and an eighth imaging element 181 as imaging elements.
  • the optical system is a device that forms an image of a predetermined region on the imaging surface of the imaging device, and is configured by a combination of a plurality of lenses, a diaphragm, a filter, and the like.
  • at least one of the plurality of lenses included in the optical system is a free-form surface lens.
  • each imaging apparatus includes a fifth optical system 152, a sixth optical system 162, a seventh optical system 172, and an eighth optical system 182 as optical systems.
  • optical system will be specifically described by taking the fifth optical system 152 as an example.
  • the fifth optical system 152 is a device that forms an image included in a predetermined area on the imaging surface of the fifth imaging element 151.
  • the fifth optical system 152 is arranged such that a first plane region 351 arranged parallel or substantially parallel to the optical axis of the fifth optical system 152 forms an image on the imaging surface of the fifth imaging element 151. .
  • the first plane area 351 is a partial area of a plane such as a road or a parking lot on which the mobile body 201 that is an automobile travels, and is an area having a straight line portion at least at a part of the periphery. is there.
  • Each plane area may be a polygon.
  • the first plane area 351 and the third plane area 353 are hexagonal
  • the second plane area 352 and the fourth plane area 354 are It is a trapezoid.
  • the fifth optical system 152 includes a fifth free-form surface lens that forms an image on the fifth imaging element 151 so that the resolution of the portion far from the portion close to the fifth optical system 152 in the first planar region 351 becomes higher.
  • the fifth optical system 152 has a fifth imaging element 151 so that the resolution of the region close to at least one of the second planar region 352 and the fourth planar region 354 in the first planar region 351 is high.
  • to increase the resolution means that the resolution may change stepwise from a low resolution portion to a high portion, may change continuously, or a portion that changes stepwise. You may combine with the part which changes continuously.
  • the generation unit 105 is a processing unit that generates one or more images based on image data acquired from the image sensor of the imaging apparatus via the interface 106, and includes an actual first plane area 351, second plane area 352, and third. A function of bringing the corresponding portions of the image closer to the shapes of the planar area 353 and the fourth planar area 354 is provided.
  • the generation unit 105 acquires image data from a plurality of image sensors, combines images based on the plurality of image data, an actual first plane area 351, a second plane area 352, a third plane area 353, and A function of reproducing the arrangement of the fourth planar region 354 and generating a composite image showing the periphery of the moving body 201 is provided. In particular, since the resolution near the boundary of each region is set high, the generation unit 105 performs stitching using image data of a portion with high resolution, and suppresses image deterioration at the joint portion of the composite image. .
  • the fifth imaging device 150 is attached to the front part of the moving body 201 so that the front side of the moving body 201 can be imaged.
  • the fifth imaging element 151 and the moving body on the imaging surface of the fifth imaging element 151 are arranged.
  • a fifth optical system 152 that forms an image of a first planar region 351 that is a part of a rectangular annular region 350 that is virtually set so as to surround the moving body 201 on a surface on which the traveling body 201 travels. Yes.
  • the sixth imaging device 160 is attached to the right side of the moving body 201 so that the right side of the moving body 201 can be imaged, and the sixth imaging device 161 and the imaging surface of the sixth imaging device 161 are annular.
  • a sixth optical system 162 that forms an image of a second planar region 352 that is different from the first planar region 351 of the region 350 and is in line contact with the first planar region 351 is provided.
  • the seventh imaging device 170 is attached to the rear part of the moving body 201 so that the rear direction of the moving body 201 can be imaged.
  • the seventh imaging device 171 and the annular area on the imaging surface of the seventh imaging device 171 And a seventh optical system 172 that forms an image of a third planar region 353 that is different from the first planar region 351 and the second planar region 352 and is in line contact with the second planar region 352. .
  • the eighth imaging device 180 is attached to the left side of the moving body 201 so that the left side of the moving body 201 can be imaged, and the eighth imaging device 181 and the imaging surface of the eighth imaging device 181 are annular.
  • an eighth optical system 182 for forming an image.
  • annular region 350 is formed by the first planar region 351, the second planar region 352, the third planar region 353, and the fourth planar region 354, and adjacent planar regions do not overlap.
  • the images formed on the respective image sensors may partially overlap.
  • FIG. 11 is a diagram showing step by step the image data obtained by the imaging device and the image obtained by the generation unit when the fifth optical system 152 is attached to the moving body 201 at a depression angle of 0 degree.
  • the fifth optical system 152 has such a characteristic that the rectangular area 359 is imaged in a polygonal shape as in the image shown in FIG. ing.
  • the fifth optical system 152 is connected to the imaging surface of the fifth imaging element 151 so that the resolution of the portion far from the fifth imaging device 150 is higher than the resolution of the portion near the fifth imaging device 150 in the rectangular region 359.
  • a first free-form surface lens having a shape that can be imaged is provided. Specifically, the boundary portion between the road surface and the building is an intermediate portion of the image rather than the resolution near the two line segments forming the apex angle of the lower end portion of the polygon described in FIG. The resolution in the vicinity of the line segment along is increased.
  • the resolution at both sides is higher than the resolution at the center near the line segment along the boundary between the road surface and the building.
  • This resolution state is schematically shown in FIG.
  • a circle described in FIG. 11D indicates the entire image obtained by the fifth optical system 152.
  • a rectangular portion indicates the fifth image sensor 151.
  • the portion where the characters “high” are written indicates that the resolution is relatively higher than the portion where “low” is written.
  • An arrow from “low” to “high” indicates that the resolution gradually increases.
  • “high” is described in a plurality of places, it does not mean that the places where “high” is described have the same resolution.
  • the generation unit 105 holds shape data indicating the shape of a free-form surface lens included in the fifth optical system 152 of the fifth imaging device 150 and optical data of the fifth optical system 152 represented by distortion data. Correction is applied to the image data obtained from the image sensor 151 to correct distortion as shown in FIGS.
  • FIG. 11C an image in which the shape of the rectangular area 359 is reproduced, that is, an image in which the line of sight is changed in the normal direction of the rectangular area 359 is generated. That is, the image of FIG. 11C obtained by performing the viewpoint conversion is obtained after the image of FIG. 11B having undergone distortion correction from the image of FIG. 11A.
  • FIG. 11E schematically shows a state in which the rectangular region 359 is stretched to perform the distortion correction and the viewpoint conversion at the same time.
  • the magnification is gradually increased as the distance from the near portion of the fifth imaging device 150 increases (from bottom to top in FIGS. 11A and 11D).
  • the resolution of the obtained image is as a whole. It is possible to obtain an image having a uniform resolution.
  • a plurality of regions obtained by dividing the annular region 350 surrounding the moving body 201 are set, each imaging device is caused to capture each region, and the generation unit 105 is acquired from each imaging device. From the image data, the shape of each region is reproduced, and the positions of the regions are reproduced and connected so as to show the entire periphery of the moving body 201 to generate a composite image.
  • the image data has high resolution in the areas corresponding to the boundary portions of the first plane area 351, the second plane area 352, the third plane area 353, and the fourth plane area 354 forming the annular area 350. It also contributes to the generation of synthesized images with high accuracy. As a result, a high-quality top-view image with uniform resolution and high accuracy can be obtained.
  • the imaging system 100 and the mobile system 200 of the second embodiment it is possible to form a top view image having a uniform resolution using a plurality of imaging devices.
  • the image generated by the generation unit 105 as a top-view image on the display device 202 attached to the room of the moving body 201, the surrounding image when the moving body 201 is parked by a driver or the like can be displayed without any sense of incongruity. Can be seen.
  • the present disclosure is not limited to the above embodiment.
  • another embodiment realized by arbitrarily combining the components described in this specification and excluding some of the components may be used as an embodiment of the present disclosure.
  • the present disclosure also includes modifications obtained by making various modifications conceivable by those skilled in the art without departing from the gist of the present disclosure, that is, the meanings of the words described in the claims. It is.
  • the free-form surface lens has a shape that has different resolutions step by step between a region that does not overlap and a region that does not overlap, it is not limited to this.
  • the free-form surface lens may have a shape in which the resolution gradually increases from one end of the region to the other end.
  • the free-form surface lens can adopt not only a shape that changes the resolution of the horizontal plane but also a shape that changes the resolution of the vertical plane.
  • a portion of the elevation angle that is greater than a predetermined angle or a portion of the depression angle that is greater than the predetermined angle corresponds to the sky or the road surface. It doesn't matter.
  • a free-form curved lens having a shape that increases the resolution of a portion at a predetermined angle or more in the depression angle may be adopted. I do not care.
  • FIG. 7 in contrast to the case where the entire image of the conventional fisheye lens formed of a spherical surface is formed on the imaging surface of the imaging device, as shown in FIG. 7. Even if a free-form surface lens having a shape that forms an image on the imaging surface of the image sensor so that the number of pixels corresponding to the white portion and the black line portion shown in FIG. I do not care. Thereby, compared with the case where an optical system mainly composed of spherical lenses is employed, the imaging pixels provided in the imaging element can be used effectively, and an image with higher resolution can be obtained.
  • the imaging system 100 acquires traveling state information indicating the traveling state of the moving body 201, and the image synthesis mode of the generation unit 105 is changed based on the traveling state information. You can change it. For example, when the car that is the moving body 201 is traveling normally, the generation unit 105 synthesizes three pieces of image data including an image of the rear of the car, and displays it on a room mirror type display that is one of the display devices 202. Output the back view. In addition, when the vehicle goes back, for example, when the traveling state information in which the shift lever enters “R” is acquired, the generation unit 105 outputs the top view to a monitor for a navigation system that is one of the display devices 202. .
  • An imaging system and a moving body system include a moving body that carries a person such as an automobile, an aircraft, and a ship, a moving body that moves without a person such as a drone and a transport device, and a tip of a robot arm. It can be used for moving objects. It can also be used for security cameras.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Lenses (AREA)

Abstract

第一撮像素子（１１１）と、第一光学系（１１２）とを有する第一撮像装置（１１０）と、第一撮像素子（１１１）から取得した画像データに基づき画像を生成する生成部（１０５）とを備え、第一光学系（１１２）は、水平面において、単位画角に含まれる像を撮像する撮像画素の数を解像度とした場合に、所定領域の一部分の解像度と他部分の解像度とが異なるように第一撮像素子（１１１）に結像させることのできる形状を有する第一自由曲面レンズを備える撮像システム（１００）とする。

Description

撮像システム、および、移動体システム
　本開示は、所定の領域の像を画像データとして生成する撮像システム、および、当該撮像システムを備えた移動体システムに関する。
　従来、自動車に撮像装置を複数台取り付け、複数台の撮像装置から得られる画像を合成して自動車の周囲を示す画像とするいわゆるトップビュー及びフリービューという技術がある。
　特許文献１には、車両に配置された複数台の撮像装置に基づき画像を合成する装置において、一つの撮像装置に異常が発生した場合に、合成画像の解像度が低下することを抑制する技術が記載されている。
特開２０１５－１９２７１号公報
　昨今、特に自動車などの車両について、撮像装置で撮像した画像を表示することによりバックミラーなどに代替させることが可能となってきている。しかし、これに用いられる画像は、人が確認し易いように高い解像度が要求されている。しかしながら車両に用いられる撮像素子は高信頼性を確保するために従来より使用されている比較的低解像度の撮像素子を使用する必要がある。この比較的低解像度の撮像素子で車両の全周囲を撮像する撮像装置では解像度が不足する恐れがあり、バックミラーの代替として画像をモニタに表示させるために比較的低解像度の撮像素子でも解像度の高い映像を撮影する必要がある。
　以下、自由曲面レンズを用いることにより一つの撮像装置であっても必要な撮像領域を高解像度とすることができる撮像システム、および、当該撮像システムを備えた移動体システムを開示する。
　本開示にかかる撮像システムは、複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、前記撮像素子から取得した画像データに基づき画像を生成する生成部とを備え、前記光学系は、単位画角に含まれる像を撮像する前記撮像画素の数を解像度とした場合に、前記領域の一部分の解像度と前記領域の他部分の解像度とが異なるように前記撮像面に結像させることのできる形状を有する自由曲面レンズを備える。
　本開示に係る移動体システムは、複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、前記撮像装置が取り付けられ、空間を移動する移動体と、前記撮像素子から取得した画像データに基づき画像を生成する生成部と、前記生成部により生成された画像を表示する表示装置とを備え、前記光学系は、単位画角に含まれる像を撮像する前記撮像画素の数を解像度とした場合に、前記領域の一部分の解像度と前記領域の他部分の解像度とが異なるように前記撮像面に結像させることのできる形状を有する自由曲面レンズを備える。
　以上のように、本開示の撮像システム、および、移動体システムは、自由曲面レンズを用いることで１台の撮像装置の中で高解像度の画像と低解像度の画像を得ることが可能となる。
図１は、水平面において、実施の形態１に係る車両に取り付けられた複数の撮像装置のそれぞれの撮像領域を示す図である。 図２は、実施の形態１に係る移動体システムの機構部と機能部とを示すブロック図である。 図３は、第二光軸を含む垂直面で実施の形態１に係る第二光学系を仮想的に切断した断面を示す構成図である。 図４は、実施の形態１に係る第二光学系を用いて解像度を説明するための図である。 図５は、実施の形態１に係る自由曲面レンズに基づく解像度の状態を示す図である。 図６は、実施の形態１に係る生成部により生成された移動体の後方を示す画像データを示す図である。 図７は、従来の魚眼レンズにより撮像装置に結像させた状態を示す図である。 図８は、実施の形態１に係る自由曲面レンズにより撮像装置に結像させた状態を示す図である。 図９は、実施の形態２に係る移動体に取り付けられた複数の撮像装置のそれぞれの撮像領域を示す図である。 図１０は、実施の形態２に係る移動体システムの機構部と機能部とを示すブロック図である。 図１１は、実施の形態２に係る生成部により生成される画像を段階的に示した図である。
　次に、本開示に係る撮像システム、および、移動体システムの実施の形態について、図面を参照しつつ説明する。なお、以下の実施の形態は、本開示に係る撮像システム、および、移動体システムの一例を示したものに過ぎない。従って本開示は、以下の実施の形態を参考に請求の範囲の文言によって範囲が確定されるものであり、以下の実施の形態のみに限定されるものではない。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　また、図面は、本開示のために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。
　（実施の形態１）
　図１は、水平面において、車両に取り付けられた複数の撮像装置のそれぞれの撮像領域を示す図である。
　図２は、移動体システムの機構部と機能部とを示すブロック図である。
　これらの図に示すように、移動体システム２００は、撮像システム１００を含み、移動体を中心とした所定の方向の領域の像を画像として表示することができるシステムであって、移動体２０１と、撮像装置と、生成部１０５と、表示装置２０２とを備えている。本実施の形態１の場合、撮像装置には、第一撮像装置１１０、第二撮像装置１２０、第三撮像装置１３０、第四撮像装置１４０が含まれている。
　［移動体２０１］
　移動体２０１は、撮像装置が取り付けられた状態で空間を移動する装置である。本実施の形態１の場合、移動体２０１は、人を乗せて道路上を移動することができる自動車などの車両である。
　［撮像装置］
　撮像装置は、所定の領域に含まれる像を画像データに変換することができる装置であり、撮像素子と、光学系とを備えている。本実施の形態１の場合、移動体システム２００が備える撮像システム１００は、撮像装置として第一撮像装置１１０と、第二撮像装置１２０と、第三撮像装置１３０と、第四撮像装置１４０とを備えている。
　［撮像素子］
　撮像素子は、光学的に撮像面に結ばれた像を行列状に並んで配置される複数の撮像画素により画像データに変換することができる素子であり、例えばＣＭＯＳやＣＣＤなどのいわゆるイメージングセンサである。本実施の形態１の場合、各撮像装置は、撮像素子として、第一撮像素子１１１、第二撮像素子１２１、第三撮像素子１３１、第四撮像素子１４１をそれぞれ備えている。
　［光学系］
　光学系は、撮像素子の撮像面に所定の領域の像を結像させる装置であり、複数のレンズや絞り、フィルタなどの組み合わせにより構成されるものである。また、光学系が備える複数のレンズの少なくとも１つは、自由曲面レンズである。本実施の形態１の場合、各撮像装置は、光学系として、第一光学系１１２、第二光学系１２２、第三光学系１３２、第四光学系１４２をそれぞれ備えている。
　以下、第二光学系１２２を例として光学系を具体的に説明する。
　図３は、第二光軸を含む水平面で第二光学系を仮想的に切断した断面を示す構成図である。
　図３は、第二光軸を含む垂直面で第二光学系を仮想的に切断した断面を示す構成図である。
　図４は、第二光学系を用いて解像度を説明するための図である。
　これらの図に示すように、第二光学系１２２は、第二撮像素子１２１の撮像面に所定の領域に含まれる像を結像させる装置である。また、第二光学系１２２は、第二光軸１２９と直交する第一軸（図中左右軸）と第二光軸１２９とを含む平面（水平面）の断面において、第二自由曲面レンズ１２３、１２４は、第二領域３０２（図１参照）の一部である中央部分の解像度が第二領域３０２の両端部分の解像度よりも高くなるように第二撮像素子１２１に結像させる形状を有する。
　ここで、光軸とは、原則、撮像素子の撮像面の中央（中心）を通過し、撮像面に垂直な仮想線である。なお、光学系が光を反射するミラーやプリズムなどを備えている場合は、光軸は反射によって屈曲する。
　また、解像度とは、単位画角に含まれる像を撮像する撮像画素の多さである。具体的に例えば、図４に示すように第二光軸１２９を含む第一部分領域ｒ１（濃い色の部分）の画角とこれに隣接する第二部分領域ｒ２の画角はθ１で同じである。しかし、水平面において、第二撮像素子１２１に撮像面に結ばれる像の長さは、第一部分領域ｒ１に対応する像の方が第二部分領域ｒ２に対応する像の長さよりも長い。一方、第二撮像素子１２１は等間隔に撮像画素を備えている。以上により、同じ角度の画角である場合、これらに対応する像を撮像する撮像画素の数が多いほど、解像度が高くなる。
　また、解像度が異なるとは、主として球面レンズからなる光学系と平面の撮像素子の組み合わせによって発生する解像度の相違、つまり光軸近傍部の解像度と光軸から最も遠い部分の解像度との相違以上に異なることを意味している。
　また、自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状、且つ回転対称ではないレンズである。なお、シリンドリカルレンズも円弧状レンズの一種として、自由曲面レンズとは異なるレンズとする。自由曲面レンズとしては例えば、第二自由曲面レンズ１２３は、図３に示すように、第二光軸１２９と第一軸（左右軸）とを含む面（水平面）で仮想的に切断した断面の形状と、第二光軸１２９および第一軸と直交する第二軸（上下軸）と第二光軸１２９とを含む面（垂直面）で仮想的に切断した断面の形状（図示せず）とが異なり、かつ、いずれも真円の一部ではない非円弧となっている。
　また、自由曲面レンズの材質は、特に限定されるものではないが、ガラスや樹脂などを例示することができる。自由曲面レンズの製造方法も特に限定されるものではないが、例えば、金型などの型を用いて自由曲面レンズを成形する製造方法を例示することができる。
　［生成部１０５］
　生成部１０５は、撮像装置の撮像素子からインターフェース１０６を介して取得した画像データに基づき１以上の画像を生成する処理部であり、撮像装置の光学系が備える自由曲面レンズの形状を示す形状データを保持し、当該形状データに基づき生成する画像に補正を加え、自由曲面レンズが用いられていない場合の画像、つまり実際の像に画像を近づける機能を備えている。また、生成部１０５は、複数の撮像素子から画像データを取得した場合、複数の画像データに基づき画像を合成し、必要な部分を切り出して１以上の合成画像を生成する機能を備えてもよい。
　なお、生成部１０５は、専用のハードウェアで構成されてもよく、演算素子などのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　［撮像装置各論］
　次に、移動体２０１に取り付けられた第一撮像装置１１０～第四撮像装置１４０のそれぞれについて説明する。
　第一撮像装置１１０は、移動体２０１の右側部に、移動体２０１よりも右方向が撮像できるように取り付けられており、第一撮像素子１１１と、第一撮像素子１１１の撮像面に移動体２０１より右側の第一領域３０１の像を結像させる第一光学系１１２とを備えている。
　第二撮像装置１２０は、移動体２０１の後方部に、移動体２０１よりも後ろ方向が撮像できるように取り付けられており、第二撮像素子１２１と、第二撮像素子１２１の撮像面に移動体２０１より後方の第二領域３０２の像を結像させる第二光学系１２２とを備えている。
　第三撮像装置１３０は、移動体２０１の左側部に、移動体２０１よりも左方向が撮像できるように取り付けられており、第三撮像素子１３１と、第三撮像素子１３１の撮像面に移動体２０１より左側の第三領域３０３の像を結像させる第三光学系１３２とを備えている。
　第四撮像装置１４０は、移動体２０１の前方部に、移動体２０１よりも前方向が撮像できるように取り付けられており、第四撮像素子１４１と、第四撮像素子１４１の撮像面に移動体２０１より前方の第四領域３０４の像を結像させる第四光学系１４２とを備えている。
　ここで、第一領域３０１は、第四領域３０４と第二領域３０２とのいずれとも一部重複している。第二領域３０２は、第一領域３０１と第三領域３０３とのいずれとも一部重複している。第三領域３０３は、第二領域３０２と第四領域３０４とのいずれとも一部重複している。第四領域３０４は、第三領域３０３と第一領域３０１とのいずれとも一部重複している。これにより、移動体システム２００、および、撮像システム１００は、移動体２０１の周囲の全てを示す画像を生成することができるものとなっている。なお、撮像装置の水平面における全画角は、特に限定されるものではないが、例えばいずれもおよそ１８０°程度である。また、各撮像装置は、垂直面にも広がった視野を備えており、垂直面における全画角は、例えば１５０°程度である。
　［撮像素子各論］
　本実施の形態１の場合、各撮像装置が備える第一撮像素子１１１、第二撮像素子１２１、第三撮像素子１３１、第四撮像素子１４１は、同じ種類のイメージングセンサが採用されている。
　［光学系各論］
　第一光学系１１２は、図５に示すように、第二領域３０２と重複する部分の解像度は、第一領域３０１の他部分の解像度よりも高くなるように第一撮像素子１１１の撮像面に結像させることのできる形状の第一自由曲面レンズを備えている。但し、第一領域３０１の解像度が高い部分は、第二領域３０２と重複する部分以上に設定しても良い。
　第二光学系１２２は、図５に示すように、第一領域３０１、および、第三領域３０３と重複しない部分の解像度は、重複する部分の解像度よりも高くなるように第二撮像素子１２１の撮像面に結像させることのできる形状の第二自由曲面レンズ１２３を備えている。
　第三光学系１３２は、図５に示すように、第三領域３０３において第二領域３０２と重複する部分が他の部分よりも解像度が高くなるように第三撮像素子１３１に結像させる形状を有する第三自由曲面レンズを備えている。但し、第三領域３０３の解像度が高い部分は、第二領域３０２と重複する部分以上に設定しても良い。
　第四光学系１４２は、図５に示すように、中央部分が最も解像度が高く、側方に向かうほど段階的に解像度が低下するように第四撮像素子１４１に結像される形状を有する第四自由曲面レンズを備えている。
　［生成部］
　本実施の形態１の場合、生成部１０５は、第一領域３０１と第二領域３０２とが重複する部分の画像データを第一撮像素子１１１から取得し、第三領域３０３と第二領域３０２とが重複する部分の画像データを第三撮像素子１３１から取得する。そして、これらの画像データと第二撮像素子１２１から取得した画像データの高い解像度の部分とを合成し、図６に示すような、移動体２０１の後方を示す画像データを生成する。これにより得られる合成画像は、移動体２０１の後方を示す画像であって、移動体２０１の後方の左右方向の一方端から他方端に至るまで全域にわたって高い解像度の画像とすることができる。
　さらに生成部１０５は、第一撮像素子１１１、第二撮像素子１２１、第三撮像素子１３１、および、第四撮像素子１４１から取得した画像データから、歪み補正・視点変換処理を行った後、領域が重複している部分の画像データに基づき位置合わせを行い、移動体２０１の全周囲を示す合成画像を生成する。これにより、いわゆるトップビューの画像を得ることができる。
　以上のように、本実施の形態１の撮像システム１００、および、移動体システム２００によれば、４つの撮像装置を用いてトップビューの画像を形成できると共に、移動体２０１の後方を高い解像度の画像で示すことが可能となる。
　表示装置２０２は、生成部１０５により生成された画像を表示する装置である。本実施の形態１の場合、表示装置２０２は、移動体２０１の室内であって、移動体２０１を運転する運転者が視認しやすい位置に取り付けられている。さらに、表示装置２０２は、第一表示装置（図示せず）と第二表示装置（図示せず）とを備え、第一表示装置は、移動体２０１の後方を示す高解像度の画像を表示し、例えば駐車時には第二表示装置は、移動体２０１を仮想的に示す画像と共に移動体２０１の周囲全体を示すいわゆるトップビューの画像を表示する。これによれば、４つの撮像装置によって、移動体２０１を駐車させる際の補助を行うことができ、かつ、移動体２０１が走行している際の車線変更などの補助を行う事も可能となる。
　（実施の形態２）
　続いて、撮像システム、および、移動体システムの他の実施の形態について説明する。なお、前記実施の形態１と同様の作用や機能、同様の形状や機構や構造を有するもの（部分）には同じ符号を付して説明を省略する場合がある。また、以下では実施の形態１と異なる点を中心に説明し、同じ内容については説明を省略する場合がある。
　図９は、実施の形態２に係る水平面において、車両に取り付けられた複数の撮像装置のそれぞれの撮像領域を示す図である。
　図１０は、実施の形態２に係る移動体システムの機構部と機能部とを示すブロック図である。
　これらの図に示すように、移動体システム２００は、撮像システム１００を含み、移動体を中心とした所定の方向の領域の像を画像として表示することができるシステムであって、移動体２０１と、撮像装置と、生成部１０５と、表示装置２０２とを備えている。
　［撮像装置］
　撮像装置は、所定の領域に含まれる像を画像データに変換することができる装置であり、撮像素子と、光学系とを備えている。本実施の形態２の場合、移動体システム２００が備える撮像システム１００は、撮像装置として第五撮像装置１５０と、第六撮像装置１６０と、第七撮像装置１７０と、第八撮像装置１８０とを備えている。
　［撮像素子］
　撮像素子は、光学的に撮像面に結ばれた像を行列状に並んで配置される複数の撮像画素により画像データに変換することができる素子であり、例えばＣＭＯＳやＣＣＤなどのいわゆるイメージングセンサである。本実施の形態２の場合、各撮像装置は、撮像素子として、第五撮像素子１５１、第六撮像素子１６１、第七撮像素子１７１、第八撮像素子１８１をそれぞれ備えている。
　［光学系］
　光学系は、撮像素子の撮像面に所定の領域の像を結像させる装置であり、複数のレンズや絞り、フィルタなどの組み合わせにより構成されるものである。また、光学系が備える複数のレンズの少なくとも１つは、自由曲面レンズである。本実施の形態２の場合、各撮像装置は、光学系として、第五光学系１５２、第六光学系１６２、第七光学系１７２、第八光学系１８２をそれぞれ備えている。
　以下、第五光学系１５２を例として光学系を具体的に説明する。
　第五光学系１５２は、第五撮像素子１５１の撮像面に所定の領域に含まれる像を結像させる装置である。特に、第五光学系１５２は、第五光学系１５２の光軸に平行または略平行に配置された第一平面領域３５１が第五撮像素子１５１の撮像面に結像するように配置されている。
　本実施の形態の場合、第一平面領域３５１は、自動車である移動体２０１が走行する道路、駐車場などの平面の一部の領域であり、少なくとも周縁の一部に直線部分を備える領域である。各平面領域は、多角形であっても良く、具体的には、第一平面領域３５１、および、第三平面領域３５３は六角形、第二平面領域３５２、および、第四平面領域３５４は、台形である。
　また、第五光学系１５２は、第一平面領域３５１の第五光学系１５２に近い部分より遠い部分の解像度が高くなるように第五撮像素子１５１に結像させる第五自由曲面レンズを有する。また、第五光学系１５２は、第一平面領域３５１において、第二平面領域３５２、および、第四平面領域３５４の少なくとも一方の境界部分に近い領域の解像度が高くなるように第五撮像素子１５１に結像することができるものである。ここで、解像度が高くなるようにとは、解像度の低い部分から高い部分まで段階的に解像度が変化しても良く、連続的に変化してもかまわない、また、段階的に変化する部分と連続的に変化する部分とを組み合わせてもかまわない。
　［生成部１０５］
　生成部１０５は、撮像装置の撮像素子からインターフェース１０６を介して取得した画像データに基づき１以上の画像を生成する処理部であり、実際の第一平面領域３５１、第二平面領域３５２、第三平面領域３５３、および、第四平面領域３５４のそれぞれの形状に画像の対応する部分を近づける機能を備えている。また、生成部１０５は、複数の撮像素子から画像データを取得し、複数の画像データ基づき画像を合成し、実際の第一平面領域３５１、第二平面領域３５２、第三平面領域３５３、および、第四平面領域３５４の配置を再現して移動体２０１の周囲を示す合成画像を生成する機能を備えている。とくに各領域の境界の近傍は解像度が高く設定されているため、生成部１０５は、解像度が高い部分の画像データを用いてスティッチングを行い、合成画像のつなぎ目部分の画像劣化を抑制している。
　［撮像装置各論］
　次に、移動体２０１に取り付けられた第五撮像装置１５０～第八撮像装置１８０のそれぞれについて説明する。
　第五撮像装置１５０は、移動体２０１の前方部に、移動体２０１よりも前方向が撮像できるように取り付けられており、第五撮像素子１５１と、第五撮像素子１５１の撮像面に移動体２０１が走行する面において、移動体２０１を取り囲むように仮想的に設定される矩形の環状領域３５０の一部である第一平面領域３５１の像を結像させる第五光学系１５２とを備えている。
　第六撮像装置１６０は、移動体２０１の右側方部に、移動体２０１よりも右方向が撮像できるように取り付けられており、第六撮像素子１６１と、第六撮像素子１６１の撮像面に環状領域３５０の第一平面領域３５１とは異なる領域であって第一平面領域３５１と線接触する第二平面領域３５２の像を結像させる第六光学系１６２とを備えている。
　第七撮像装置１７０は、移動体２０１の後方部に、移動体２０１よりも後ろ方向が撮像できるように取り付けられており、第七撮像素子１７１と、第七撮像素子１７１の撮像面に環状領域３５０の第一平面領域３５１および第二平面領域３５２とは異なる領域であって第二平面領域３５２と線接触する第三平面領域３５３の像を結像させる第七光学系１７２とを備えている。
　第八撮像装置１８０は、移動体２０１の左側方部に、移動体２０１よりも左方向が撮像できるように取り付けられており、第八撮像素子１８１と、第八撮像素子１８１の撮像面に環状領域３５０の第一平面領域３５１、第二平面領域３５２および第三平面領域３５３とは異なる領域であって第一平面領域３５１および第三平面領域３５３とそれぞれ線接触する第四平面領域３５４の像を結像させる第八光学系１８２とを備えている。
　ここで、第一平面領域３５１、第二平面領域３５２、第三平面領域３５３、および、第四平面領域３５４により、環状領域３５０が形成され隣り合う平面領域は重複していない。なお、各撮像素子に結像される像は一部重複する場合がある。
　［動作など］
　次に、撮像システム１００の作用、および、動作について図９に示す矩形領域３５９を例として説明する。
　図１１は、第五光学系１５２が俯角０度で移動体２０１に取り付けられた場合の撮像装置により得られる画像データおよび生成部により得られる画像のイメージを段階的に示した図である。
　第五光学系１５２は、図９に示す矩形領域３５９を仮想的に設定した場合、図１１の（ａ）に示す画像のように、矩形領域３５９が多角形に撮像されるような特性を備えている。また、第五光学系１５２は矩形領域３５９の第五撮像装置１５０に近い部分の解像度よりも、第五撮像装置１５０から遠い部分の解像度が高くなるように第五撮像素子１５１の撮像面に結像させることのできる形状の第一自由曲面レンズを備えている。具体的には、図１１の（ａ）内に記載する多角形の下端部の頂角を形成する二つの線分近傍の解像度よりも、画像の中間部であって路面と建物との境界部分に沿った線分近傍の解像度が高くなっている。また、路面と建物との境界部分に沿った線分近傍において中央の解像度よりも両側方部の解像度が高くなっている。この解像度の状態を図１１の（ｄ）に模式的に示している。図１１の（ｄ）に記載される円は第五光学系１５２により得られる像全体を示している。長方形の部分は第五撮像素子１５１を示している。また、「高」の文字が記載されている部分は「低」と記載されている部分よりも解像度が相対的に高いことを示している。また、「低」から「高」に向かう矢印は、解像度が徐々に高くなっている様子を示している。なお、複数箇所に「高」が記載されているが、「高」が記載されている場所が同じ解像度であることを意味するものではない。
　また、第六光学系１６２、第七光学系１７２、および、第八光学系１８２も同様である。
　生成部１０５は、第五撮像装置１５０の第五光学系１５２が備える自由曲面レンズの形状を示す形状データ及び歪曲データに代表される第五光学系１５２の光学データを保持しており、第五撮像素子１５１から得られる画像データに補正を加え、図１１の（ｂ）（ｅ）に示すように歪を補正する。
　次に、図１１の（ｃ）に示すように、矩形領域３５９の形状を再現した画像、つまり矩形領域３５９の法線方向に視線を転換した状態の画像を生成する。つまり、図１１の（ａ）の画像から歪み補正を行った図１１の（ｂ）の画像を経て、その後視点変換を行った図１１の（ｃ）の画像を得ている。図１１の（ｅ）は矩形領域３５９を引き伸ばして上記歪み補正と視点変換を同時に行っている様子を模式的に示している。
　以上のように矩形領域３５９の形状を再現するためには、第五撮像装置１５０の近い部分から遠い部分（図１１の（ａ）、（ｄ）において下から上）に行くほど徐々に引き延ばし倍率が高くなるが、第五撮像装置１５０の近い部分から遠い部分（図１１の（ａ）、（ｄ）において下から中間部）に行くほど徐々に解像度が高くなるため、得られる画像は全体的に均一な解像度を持つ画像を得ることが可能となる。これは、第六光学系１６２、第七光学系１７２、および、第八光学系１８２も同様である。
　本実施の形態の場合においては、移動体２０１を取り囲む環状領域３５０を分割した複数の領域を設定し、各撮像装置にそれぞれの領域を撮像させ、生成部１０５は、それぞれの撮像素子から取得した画像データから、各領域の形状を再現するとともに、移動体２０１の全周囲を示すように各領域の位置を再現してつなぎ合わせて合成画像を生成する。この際、環状領域３５０を形成する第一平面領域３５１、第二平面領域３５２、第三平面領域３５３、第四平面領域３５４のそれぞれの境界部分に当たる領域において解像度が高い画像データとなっているため、精度よく合成画像を生成する事にも貢献する。これにより、均質な解像度を持ち精度の高い上質なトップビューの画像を得ることができる。
　以上のように、本実施の形態２の撮像システム１００、および、移動体システム２００によれば、複数の撮像装置を用いて均質な解像度を持つトップビューの画像を形成できる。
　また、生成部１０５が生成した画像を移動体２０１の室内に取り付けられる表示装置２０２にトップビューの画像として表示することにより、運転者などに移動体２０１を駐車させる際の周囲の画像を違和感なく看取させることができる。
　なお、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
　例えば、自由曲面レンズを領域の重複する部分としない部分とで段階的に異なる解像度となるような形状であるとして説明したが、これに限定されるものではない。例えば、自由曲面レンズは、領域の一端部から他端部に向けて徐々に解像度が高くなるような形状であっても構わない。また、上記実施の形態では、水平面における解像度の相違のみに言及したが、自由曲面レンズは、水平面の解像度を変化させる形状ばかりでなく、垂直面の解像度を変化させる形状も採用することができる。例えば、地上を走行する移動体２０１の場合は、仰角において所定角度以上の部分や、伏角において所定角度以上の部分は、空や路面に対応するため、解像度を低下させる形状の自由曲面レンズを採用しても構わない。
　また、移動体２０１がドローンなどのように、空中を移動して移動体の下方を撮像するような場合は、伏角において所定角度以上の部分の解像度を高める形状の自由曲面レンズを採用しても構わない。
　また、図７に示すように、従来の球面からなる魚眼レンズによる全体の像を撮像素子の撮像面に結像させた場合に対し、図８に示すように、像を撮像する撮像画素つまり、図７、図８の中に示される白い部分と黒い線の部分に対応する画素の数が魚眼レンズよりも多くなるように撮像素子の撮像面に結像させる形状を有する自由曲面レンズを採用しても構わない。これにより、主として球面のレンズで構成される光学系を採用した場合に比べて、撮像素子が備える撮像画素を有効に利用することができ、より解像度の高い画像を得ることが可能となる。
　また、移動体２０１に撮像システム１００が取り付けられている場合、移動体２０１の走行状態を示す走行状態情報を撮像システム１００が取得し、走行状態情報に基づいて生成部１０５の画像の合成態様を変更してもかまわない。例えば、移動体２０１である車が通常走行している場合は、生成部１０５は、車の後方の画像を含む３つの画像データを合成し、表示装置２０２の１つであるルームミラー型ディスプレイにバックビューを出力する。また、車がバックする場合、例えばシフトレバーが“Ｒ”に入った走行状態情報を取得した場合、生成部１０５は、表示装置２０２の１つであるナビゲーションシステム用のモニタにトップビューを出力する。
　撮像システム、および、移動体システムは、自動車、航空機、船舶など人を乗せて移動する移動体、ドローンや搬送装置など人を乗せることなく移動する移動体、さらには、ロボットのアームの先端などの移動体などに利用可能である。また、セキュリティカメラなどにも利用可能である。
１００　撮像システム
１０５　生成部
１０６　インターフェース
１１０　第一撮像装置
１１１　第一撮像素子
１１２　第一光学系
１２０　第二撮像装置
１２１　第二撮像素子
１２２　第二光学系
１２３　第二自由曲面レンズ
１２９　第二光軸
１３０　第三撮像装置
１３１　第三撮像素子
１３２　第三光学系
１４０　第四撮像装置
１４１　第四撮像素子
１４２　第四光学系
２００　移動体システム
２０１　移動体
２０２　表示装置
３０１　第一領域
３０２　第二領域
３０３　第三領域
３０４　第四領域

Claims (12)

  1. 　複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、
    　前記撮像素子から取得した画像データに基づき画像を生成する生成部とを備え、
    　前記光学系は、
    　単位画角に含まれる像を撮像する前記撮像画素の数を解像度とした場合に、前記領域の一部分の解像度と前記領域の他部分の解像度とが異なるように前記撮像面に結像させることのできる形状を有する自由曲面レンズを備える
    撮像システム。
  2. 　前記光学系が備える前記自由曲面レンズは、
    　光軸と前記光軸に直交する第一軸とを含む面で仮想的に切断した断面の形状と前記光軸および前記第一軸と直交する第二軸と前記光軸とを含む面で仮想的に切断した断面の形状とが異なり、かつ、いずれも非円弧である
    請求項１に記載の撮像システム。
  3. 　前記光学系が備える前記自由曲面レンズは、
    　前記領域の一端部から他端部に向けて徐々に解像度が高くなる
    　請求項１に記載の撮像システム。
  4. 　前記光学系が備える前記自由曲面レンズは、
    　魚眼レンズによる全体の像を結像させた場合に対し、像を撮像する前記撮像画素の数が多くなるように前記撮像素子の撮像面に結像させる形状を有する
    　請求項１に記載の撮像システム。
  5. 　前記撮像装置は、
    　第一撮像素子と、前記第一撮像素子の撮像面に第一領域の像を結像させる第一光学系とを有する第一撮像装置、および、第二撮像素子と、前記第二撮像素子の撮像面に前記第一領域と一部重複する第二領域の像を結像させる第二光学系とを有する第二撮像装置を備え、
    　前記第一光学系は、
    　前記第二領域と重複する部分の解像度と前記第一領域の他部分の解像度とが異なるように前記第一撮像素子の撮像面に結像させる形状を有する第一自由曲面レンズを備え、
    　前記生成部は、
    　前記第一撮像素子、および、前記第二撮像素子から取得した画像データに基づき合成画像を生成する
    請求項１～４のいずれか一項に記載の撮像システム。
  6. 　第三撮像素子と、前記第三撮像素子の撮像面に前記第二領域と一部重複し前記第一領域とは異なる第三領域の像を結像させる第三光学系とを有する第三撮像装置をさらに備え、
    　前記第一光学系が備える前記第一自由曲面レンズは、
    　前記第一領域において前記第二領域と重複する部分が他の部分よりも解像度が高くなる形状であり、
    　前記第二光学系は、
    　前記第二領域において、前記第一領域および前記第二領域、前記第三領域および前記第二領域それぞれと重複する部分が他の部分よりも解像度が低くなるように前記第二撮像素子に結像させる形状を有する第二自由曲面レンズを備え、
    　前記第三光学系は、
    　前記第三領域において前記第二領域と重複する部分が他の部分よりも解像度が高くなるように前記第三撮像素子に結像させる形状を有する第三自由曲面レンズを備え、
    　前記生成部は、
    　前記第一領域と前記第二領域とが重複する部分のそれぞれの画像データ、前記第三領域と前記第二領域とが重複する部分のそれぞれの画像データ、および、第二領域の画像データに基づき合成画像を生成する
    請求項５に記載の撮像システム。
  7. 　第四撮像素子と、前記第四撮像素子の撮像面に前記第一領域、および、前記第三領域と一部重複し前記第二領域とは逆向きの第四領域の像を結像させる第四光学系とを有する第四撮像装置をさらに備え、
    　前記生成部は、
    　前記第一撮像素子、前記第二撮像素子、前記第三撮像素子、および、前記第四撮像素子から取得した画像データに基づき周囲を示す合成画像を生成する
    請求項６に記載の撮像システム。
  8. 　前記領域内に光軸に平行または略平行に配置された平面領域があるとした場合に、
    　前記自由曲面レンズを備える前記光学系は、
    　前記平面領域に沿う方向において、前記光軸に近い部分より遠い部分の解像度が高く、
    　前記生成部は、
    　前記撮像素子から取得した画像データに基づき解像度の低い部分の像に対し、解像度の高い部分を引き延ばして前記平面領域の形状が再現された画像を生成する
    請求項１に記載の撮像システム。
  9. 　前記領域内に光軸に平行または略平行に配置された平面領域があるとした場合に、
    　前記光学系が備える前記自由曲面レンズは、
    　前記平面領域の前記光学系に近い部分より遠い部分の解像度が高く、
    　前記生成部は、
    　前記撮像素子から取得した画像データに基づき解像度の低い部分の像に対し、解像度の高い部分を引き延ばして前記平面領域の形状が再現された画像を生成する
    請求項１または８に記載の撮像システム。
  10. 　前記撮像装置は、
    　第五撮像素子と、前記第五撮像素子の撮像面に第一平面領域を含む第五領域の像を結像させる第五光学系とを有する第五撮像装置、および、第六撮像素子と、前記第六撮像素子の撮像面に前記第一平面領域と同一平面内において前記第一平面領域に接する第二平面領域を含む第六領域の像を結像させる第六光学系とを有する第六撮像装置を備え、
    　前記第五光学系は、
    　前記第一平面領域に沿う方向において、前記第五光学系の光軸に近い部分より前記第二平面領域に近い部分の解像度が高くなるように前記第五撮像素子の撮像面に結像させる形状を有する第五自由曲面レンズを備え、
    　前記第六光学系は、
    　前記第二平面領域に沿う方向において、前記第六光学系の光軸に近い部分より前記第一平面領域に近い部分の解像度が高くなるように前記第六撮像素子の撮像面に結像させる形状を有する第六自由曲面レンズを備え、
    　前記生成部は、
    　前記第五撮像素子、および、前記第六撮像素子から取得した画像データの解像度の高い部分に基づき前記第一平面領域および第二平面領域を接続した合成画像を生成する
    請求項１～４のいずれか一項に記載の撮像システム。
  11. 　前記撮像装置は、
    　第五撮像素子と、前記第五撮像素子の撮像面に第一平面領域を含む第五領域の像を結像させる第五光学系とを有する第五撮像装置、および、第六撮像素子と、前記第六撮像素子の撮像面に前記第一平面領域と同一平面内において前記第一平面領域に接する第二平面領域を含む第六領域の像を結像させる第六光学系とを有する第六撮像装置を備え、
    　前記第五光学系は、
    　前記第一平面領域の前記第五光学系に近い部分より遠い部分の解像度が高くなるように前記第五撮像素子の撮像面に結像させる形状を有する第五自由曲面レンズを備え、
    　前記第六光学系は、
    　前記第二平面領域の前記第六光学系に近い部分より遠い部分の解像度が高くなるように前記第六撮像素子の撮像面に結像させる形状を有する第六自由曲面レンズを備え、
    　前記生成部は、
    　前記第五撮像素子、および、前記第六撮像素子から取得した画像データに基づき解像度の低い部分の像に対し、解像度の高い部分を引き延ばして前記第一平面領域および第二平面領域の形状および配置が再現された合成画像を生成する
    請求項１～４、および、１０のいずれか一項に記載の撮像システム。
  12. 　複数の撮像画素が行列状に配置される撮像素子と、前記撮像素子の撮像面に所定の領域の像を結像させる光学系とを有する撮像装置と、
    　前記撮像装置が取り付けられ、空間を移動する移動体と、
    　前記撮像素子から取得した画像データに基づき画像を生成する生成部と、
    　前記生成部により生成された画像を表示する表示装置とを備え、
    　前記光学系は、
    　単位画角に含まれる像を撮像する前記撮像画素の数を解像度とした場合に、前記領域の一部分の解像度と前記領域の他部分の解像度とが異なるように前記撮像面に結像させることのできる形状を有する自由曲面レンズを備える
    移動体システム。
PCT/JP2017/024295 2016-07-22 2017-07-03 撮像システム、および、移動体システム WO2018016305A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017552518A JP6459016B2 (ja) 2016-07-22 2017-07-03 撮像システム、および、移動体システム
EP17830825.0A EP3319306B1 (en) 2016-07-22 2017-07-03 Imaging system, and mobile system
US15/888,002 US11159744B2 (en) 2016-07-22 2018-02-03 Imaging system, and mobile system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016144866 2016-07-22
JP2016-144866 2016-07-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/888,002 Continuation US11159744B2 (en) 2016-07-22 2018-02-03 Imaging system, and mobile system

Publications (1)

Publication Number Publication Date
WO2018016305A1 true WO2018016305A1 (ja) 2018-01-25

Family

ID=60992960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024295 WO2018016305A1 (ja) 2016-07-22 2017-07-03 撮像システム、および、移動体システム

Country Status (4)

Country Link
US (1) US11159744B2 (ja)
EP (1) EP3319306B1 (ja)
JP (1) JP6459016B2 (ja)
WO (1) WO2018016305A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144999A1 (de) * 2018-01-29 2019-08-01 Conti Temic Microelectronic Gmbh Surroundview-system für ein fahrzeug
JP2022086516A (ja) * 2020-11-30 2022-06-09 トヨタ自動車株式会社 撮像システム及び撮像装置
JP2023047495A (ja) * 2021-09-27 2023-04-06 キヤノン株式会社 移動体、画像処理方法、およびコンピュータプログラム
WO2023145693A1 (ja) * 2022-01-26 2023-08-03 キヤノン株式会社 画像処理システム、移動体、画像処理方法、及び記憶媒体
WO2023145690A1 (ja) * 2022-01-26 2023-08-03 キヤノン株式会社 画像処理システム、移動体、撮像システム、画像処理方法、及び記憶媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6653456B1 (ja) * 2019-05-24 2020-02-26 パナソニックＩｐマネジメント株式会社 撮像装置
JP2022184109A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 撮像システム、移動装置、制御方法およびプログラム
US11912202B2 (en) 2021-08-16 2024-02-27 Gentex Corporation Dual-function imaging system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010276755A (ja) * 2009-05-27 2010-12-09 Konica Minolta Opto Inc 超広角アナモルフィックレンズ
JP2015019271A (ja) 2013-07-11 2015-01-29 株式会社デンソー 車両用画像合成装置
JP2016126254A (ja) * 2015-01-07 2016-07-11 コニカミノルタ株式会社 撮像レンズ、撮像装置及び投影装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5915239A (ja) 1982-07-19 1984-01-26 Hayashi Nakagome 感光フィルムを媒体とする画像記録・再生方法およびその装置
JP2007158578A (ja) 2005-12-02 2007-06-21 National Univ Corp Shizuoka Univ 全周囲情報環状表示システム
JP5088076B2 (ja) 2007-05-31 2012-12-05 日立情報通信エンジニアリング株式会社 車両底面監視装置及び車両底面監視方法
US8743199B2 (en) * 2010-03-09 2014-06-03 Physical Optics Corporation Omnidirectional imaging optics with 360°-seamless telescopic resolution
JP2011242580A (ja) * 2010-05-18 2011-12-01 Olympus Corp 投影光学装置
WO2013067083A1 (en) * 2011-11-02 2013-05-10 Magna Electronics, Inc. Vehicle vision system with asymmetric anamorphic lens
US9491451B2 (en) * 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
US10525883B2 (en) * 2014-06-13 2020-01-07 Magna Electronics Inc. Vehicle vision system with panoramic view
US10127463B2 (en) * 2014-11-21 2018-11-13 Magna Electronics Inc. Vehicle vision system with multiple cameras
JP6545997B2 (ja) * 2015-04-24 2019-07-17 日立オートモティブシステムズ株式会社 画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010276755A (ja) * 2009-05-27 2010-12-09 Konica Minolta Opto Inc 超広角アナモルフィックレンズ
JP2015019271A (ja) 2013-07-11 2015-01-29 株式会社デンソー 車両用画像合成装置
JP2016126254A (ja) * 2015-01-07 2016-07-11 コニカミノルタ株式会社 撮像レンズ、撮像装置及び投影装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3319306A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144999A1 (de) * 2018-01-29 2019-08-01 Conti Temic Microelectronic Gmbh Surroundview-system für ein fahrzeug
JP2022086516A (ja) * 2020-11-30 2022-06-09 トヨタ自動車株式会社 撮像システム及び撮像装置
JP7400705B2 (ja) 2020-11-30 2023-12-19 トヨタ自動車株式会社 撮像システム及び撮像装置
JP2023047495A (ja) * 2021-09-27 2023-04-06 キヤノン株式会社 移動体、画像処理方法、およびコンピュータプログラム
WO2023145693A1 (ja) * 2022-01-26 2023-08-03 キヤノン株式会社 画像処理システム、移動体、画像処理方法、及び記憶媒体
WO2023145690A1 (ja) * 2022-01-26 2023-08-03 キヤノン株式会社 画像処理システム、移動体、撮像システム、画像処理方法、及び記憶媒体

Also Published As

Publication number Publication date
JP6459016B2 (ja) 2019-01-30
EP3319306A1 (en) 2018-05-09
US20180160052A1 (en) 2018-06-07
JPWO2018016305A1 (ja) 2018-07-19
EP3319306A4 (en) 2018-08-08
EP3319306B1 (en) 2019-10-09
US11159744B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
JP6459016B2 (ja) 撮像システム、および、移動体システム
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
WO2019123840A1 (ja) 撮像装置、撮像システム、および表示システム
JP5671186B1 (ja) メインミラー及び広角ミラーによる法定視界を表示するための輸送車両用の視認システム
US10447948B2 (en) Imaging system and display system
CN110308557B (zh) 显示系统、电子镜系统、移动体以及显示方法
JP4902368B2 (ja) 画像処理装置及び画像処理方法
WO2015182457A1 (ja) 車両外部監視装置及び撮像装置
JP6644071B2 (ja) ドライバー・アシスタント・システム
JP6433684B2 (ja) 車両用外部監視装置の撮像装置
JP2012170127A (ja) 車両用周辺監視装置および映像表示方法
JP6653456B1 (ja) 撮像装置
US20180338095A1 (en) Imaging system and moving body control system
WO2018207393A1 (ja) 撮像システム及び表示システム
US20230096414A1 (en) Camera unit installing method, moving device, image processing system, image processing method, and storage medium
US20230098424A1 (en) Image processing system, mobile object, image processing method, and storage medium
JP7467402B2 (ja) 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム
KR20190022870A (ko) 이미지 포착 복합 렌즈 및 그 적용
JP2007043392A (ja) 車載用撮像装置および車載カメラシステム
JP6373643B2 (ja) 車両用外部監視装置
JP7476151B2 (ja) 画像処理システム、画像処理方法、およびコンピュータプログラム
WO2022138208A1 (ja) 撮像装置および画像処理装置
WO2023145690A1 (ja) 画像処理システム、移動体、撮像システム、画像処理方法、及び記憶媒体
WO2023145693A1 (ja) 画像処理システム、移動体、画像処理方法、及び記憶媒体
JP2010004227A (ja) 撮像装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017552518

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE