WO2019065468A1 - 撮像装置及び移動体 - Google Patents
撮像装置及び移動体 Download PDFInfo
- Publication number
- WO2019065468A1 WO2019065468A1 PCT/JP2018/034894 JP2018034894W WO2019065468A1 WO 2019065468 A1 WO2019065468 A1 WO 2019065468A1 JP 2018034894 W JP2018034894 W JP 2018034894W WO 2019065468 A1 WO2019065468 A1 WO 2019065468A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- image
- subject image
- pixel
- imaging device
- Prior art date
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims description 225
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Definitions
- the present disclosure relates to an imaging device and a movable body.
- CMOS complementary metal oxide semiconductor
- An imaging device includes an imaging optical system and an imaging element which are mounted on a movable body that moves along a moving surface.
- the imaging optical system forms an image of an object located around the moving body.
- the imaging element has an imaging surface in which pixels for capturing an object image formed by the imaging optical system are arranged.
- the pixels belong to a pixel group for each pixel arranged in a first direction intersecting the movement plane.
- the pixel groups are arranged in a second direction intersecting the first direction.
- the imaging device reads imaging data of the subject image for each pixel group in the order in which the pixel groups are arranged in the second direction.
- a mobile moves along a moving surface.
- the movable body mounts an imaging device including an imaging optical system and an imaging element.
- the imaging optical system forms an image of an object located around the moving body.
- the imaging element has an imaging surface in which pixels for capturing an object image formed by the imaging optical system are arranged.
- the pixels belong to a pixel group for each pixel arranged in a first direction intersecting the movement plane.
- the pixel groups are arranged in a second direction intersecting the first direction.
- the imaging device reads imaging data of the subject image for each pixel group in the order in which the pixel groups are arranged in the second direction.
- FIG. 5A It is a figure which shows the captured image based on the imaging data read by the example of FIG. 5B. It is a figure which shows the captured image based on the imaging data read by the example of FIG. 5C. It is a figure which shows an example of the relationship between movement of an object, and a read-out pixel. It is a figure which shows an example of the relationship between movement of an object, and a read-out pixel. It is a figure which shows an example of the relationship between movement of an object, and a read-out pixel. It is a figure which shows the captured image based on the imaging data read by the example of FIG. 7A. It is a figure which shows the captured image based on the imaging data read by the example of FIG. 7B.
- FIG. 7C It is a figure which shows the captured image based on the imaging data read by the example of FIG. 7C. It is a side view showing an example of composition of a mobile which carries a camera. It is a figure which shows the structural example of the room of the mobile body which mounts the camera. It is a figure which shows an example of a captured image in case a 1st direction crosses a movement surface. It is a figure which shows an example of a captured image in case a 1st direction is parallel to a movement surface. It is a figure which shows the example of the positional relationship of a moving body and a to-be-photographed object. It is a figure which shows the example of the image which imaged the image of the to-be-photographed object of FIG.
- CMOS Complementary Metal Oxide Semiconductor
- focal plane distortion may occur in which the shape of the object shown in the captured image is distorted in an oblique direction.
- CMOS image sensor is mounted on a vehicle and used as, for example, an electronic mirror, distortion of the shape of an object shown in an image can cause misidentification of a person driving the vehicle.
- CCD Charge Coupled Device
- a global shutter function may be employed to reduce focal plane distortion.
- problems such as increase in cost or increase in occupied area of parts may occur.
- focal plane distortion of a captured image can be reduced without the occurrence of the above-mentioned problems.
- an imaging device 1 includes a processor 10, a storage unit 12, and a camera 20.
- the imaging device 1 is connected to a display 30.
- the camera 20 includes an imaging element 22 and an imaging optical system 24.
- the imaging optical system 24 may include an optical element such as a lens or a mirror.
- the camera 20 captures an object image formed by the imaging optical system 24 with the imaging element 22.
- the image captured by the camera 20 is also referred to as a captured image.
- the imaging device 22 may be a device such as a CMOS image sensor that may generate focal plane distortion in principle.
- the processor 10 outputs control information to the camera 20 and acquires a captured image from the camera 20.
- the processor 10 may output the captured image to the display 30 and cause the display 30 to display the captured image.
- the processor 10 may execute general-purpose processing according to a program, or may execute specific processing.
- the processor 10 may include an application specific integrated circuit (IC).
- the application specific IC is also referred to as an application specific integrated circuit (ASIC).
- Processor 10 may include programmable logic devices. Programmable logic devices are also referred to as PLDs (Programmable Logic Devices).
- the PLD may include an FPGA (Field-Programmable Gate Array).
- the processor 10 may be any one of a SoC (System-on-a-Chip) in which one or more ICs or devices cooperate, and a SiP (System In a Package).
- SoC System-on-a-Chip
- SiP System In a Package
- the storage unit 12 may store various information or parameters regarding the operation of the imaging device 1.
- the storage unit 12 may store a program to be executed by the processor 10.
- the storage unit 12 may be configured of, for example, a semiconductor memory or the like.
- the storage unit 12 may function as a work memory of the processor 10.
- the storage unit 12 may store a captured image.
- the storage unit 12 may be included in the processor 10.
- the display 30 may display the captured image acquired from the processor 10.
- the display 30 may be configured by, for example, a display device such as liquid crystal, organic EL (Electro-Luminescence), inorganic EL, or LED (Light Emission Diode).
- a display device such as liquid crystal, organic EL (Electro-Luminescence), inorganic EL, or LED (Light Emission Diode).
- the processor 10, the camera 20, and the display 30 may comprise communication devices for communicating with one another.
- the communication device may be, for example, a communication interface such as a local area network (LAN) or a control area network (CAN).
- the communication device may communicate wired or wirelessly.
- the imaging device 22 has an imaging surface 23 in which a plurality of pixel cells 26 are arranged.
- the subject image is formed on the imaging surface 23 by the imaging optical system 24.
- the imaging element 22 receives a subject image in each pixel cell 26, and generates a captured image based on a voltage or current signal output from each pixel cell 26.
- the voltage or current signal output from each pixel cell 26 is also referred to as imaging data.
- the pixel cells 26 may be arranged on the imaging surface 23 along the first direction represented by u and the second direction represented by v, respectively.
- the first direction is a direction from the top to the bottom, but is not limited to this and may be another direction.
- the second direction is a direction from left to right, but is not limited to this and may be another direction.
- the first direction and the second direction intersect with each other.
- the first direction and the second direction may be orthogonal to each other. It can be said that the vector representing the second direction includes at least a component orthogonal to the first direction.
- the imaging device 22 may have a pixel group 28 having a plurality of pixel cells 26 as elements.
- the pixel group 28 may include pixel cells 26 aligned along the first direction as elements. In other words, the pixel cells 26 may belong to the pixel group 28 for each of the pixel cells 26 arranged in the first direction.
- the pixel group 28 may include pixel cells 26 aligned on a straight line along the first direction.
- the pixel group 28 may include the pixel cells 26 aligned in one line as an element, and may include the pixel cells 26 aligned in two or more lines as an element.
- the pixel cells 26 may be aligned on the imaging surface 23 in the second direction along the first direction.
- the pixel group 28 may include the pixel cells 26 aligned along the first direction and at a predetermined distance within the second direction.
- the predetermined distance may be equal to or close to the length of the pixel cell 26 in the second direction, or may be another value.
- the pixel groups 28 including the pixel cells 26 aligned along the first direction align in the second direction. Even when the second direction is not orthogonal to the first direction, it can be said that at least a part of the pixel cells 26 of the pixel group 28 are aligned in the direction orthogonal to the first direction.
- the pixel cells 26 aligned in the direction orthogonal to the first direction may be aligned straight or may be aligned in the first direction. At least a portion of the pixel cells 26 belonging to the pixel group 28 may overlap with the pixel cells 26 belonging to at least one other pixel group 28 when viewed in a direction orthogonal to the first direction.
- the pixel cells 26 included in the pixel groups 28 aligned in the second direction may be offset in the first direction. That is, the pixel cells 26 included in the pixel groups 28 aligned in the second direction may not be aligned straight in the second direction.
- the imaging device 22 reads imaging data in the order in which the imaging device 22 is arranged in the second direction for each pixel group 28. Even if the second direction is not orthogonal to the first direction, it can be said that the imaging device 22 reads imaging data in order in a direction orthogonal to the first direction from at least a part of pixel cells 26 of the pixel group 28. .
- the imaging element 22 may read out imaging data from each pixel cell 26 in the order in which the imaging element 22 is arranged in the first direction. After reading the imaging data from each pixel cell 26 of the pixel group 28, the imaging element 22 may start reading from the next pixel group 28.
- the imaging element 22 may be a device such as a CMOS image sensor that reads out imaging data for each group of pixel cells 26 arranged in a line.
- the imaging element 22 is not limited to a CMOS image sensor, and may be another device that reads out imaging data in the order in which the pixels are aligned in the second direction for each pixel group 28.
- the pixel groups 28 may be identified in hardware or software.
- the imaging device 22 may change the first direction to a different direction by software based on control information from the processor 10. That is, the imaging device 22 may change the combination of the pixel cells 26 included in the pixel group 28.
- the imaging device 22 may change the second direction to a different direction by software.
- the imaging element 22 reads out the imaging data from all the pixel cells 26 at once like the CCD, even if the subject image 210 (see FIG. 5A etc.) moves, the subject image 210 captured in the imaging image is distorted. Hateful. As in the case of a CMOS image sensor, when the imaging data is read out in order from some of the pixel cells 26, the object image 210 in the imaging image can be distorted by moving the object image 210 while reading out the imaging data.
- the imaging device 1 can capture the subject image 210 moving in the second direction with the passage of time.
- 5A, 5B and 5C show pixel cells 26 on which the subject image 210 is formed at times represented by T1, T2 and T3, respectively.
- FIGS. 5A, 5B and 5C show pixel groups 28 which are targets for reading out imaging data at each time.
- the pixel group 28 includes six pixel cells 26 aligned in the first direction.
- FIGS. 6A, 6B, and 6C respectively represent captured images generated based on the captured data read at each time shown in FIGS. 5A, 5B, and 5C.
- the subject image 210 forms an image on the pixel cells 26 in the third to fourth columns from the left.
- the pixel group 28 from which imaging data is read at the time represented by T1 is a group in the third column from the left.
- a subject image 210 is formed on the third to fifth pixel cells 26 from the top among the pixel cells 26 included in the pixel group 28 from which the imaging data is read.
- the subject image 210 is captured in the third column from the left of the captured image and the pixels from the third row to the fifth row from the top.
- the subject image 210 forms an image on pixel cells 26 from the right half of the third row from the left to the left half of the fifth row.
- the pixel group 28 from which imaging data is read at the time represented by T2 is the group in the fourth column from the left.
- a subject image 210 is formed on the third to fifth pixel cells 26 from the top among the pixel cells 26 included in the pixel group 28 from which the imaging data is read.
- the subject image 210 is further captured in the fourth column from the left of the captured image and the pixels from the third row to the fifth row from the top.
- the subject image 210 forms an image on the pixel cells 26 in the fourth to fifth columns from the left.
- the pixel group 28 from which imaging data is read at the time represented by T3 is the group in the fifth column from the left.
- a subject image 210 is formed on the third to fifth pixel cells 26 from the top among the pixel cells 26 included in the pixel group 28 from which the imaging data is read.
- the subject image 210 is further captured in the fifth column from the left and the pixels from the third row to the fifth row from the top of the captured image.
- the size in the left-right direction of the subject image 210 captured in the captured image corresponds to the size of three pixels.
- the actual horizontal size of the subject image 210 corresponds to the size of two pixels. That is, when the subject image 210 moves in the second direction while the imaging data is sequentially read in the second direction, the shape of the subject image 210 captured in the captured image is the same as the shape of the actual subject image 210. In comparison, it can expand in the left and right direction.
- the shape of the subject image 210 captured in the image can be reduced in the left-right direction as compared to the shape of the actual subject image 210. That is, when the imaging device 1 captures the subject image 210 moving in the same direction as the second direction or in the opposite direction, the shape of the subject image 210 captured in the captured image is compared with the shape of the actual subject image 210
- the shape may be deformed in the direction at a predetermined magnification.
- the predetermined magnification may be greater than one or less than one.
- the arrangement of the pixel cells 26 is a lattice arrangement of 6 rows and 6 columns, but is not limited thereto. Alternatively, the number of rows may be different, or may be a diagonal lattice.
- the arrangement of the pixel cells 26 may be an arrangement in which each pixel cell 26 does not line up in a row or a column.
- the arrangement of the pixel cells 26 may be various arrangements.
- FIGS. 7A, 7B and 7C As a comparative example different from the example shown in FIGS. 5A, 5B and 5C and FIGS. 6A, 6B and 6C, as shown in FIGS. 7A, 7B and 7C, the imaging device 1 has elapsed over time. And the subject image 210 moving in the first direction. Unlike the first direction in FIGS. 5A, 5B, and 5C, the first direction in FIGS. 7A, 7B, and 7C is a direction from left to right. The second direction is from the top to the bottom.
- FIGS. 7A, 7B and 7C respectively show a pixel cell 26 on which the subject image 210 is formed at time points represented by T1, T2 and T3, and a pixel group 28 to be read out of imaging data. ing.
- the pixel group 28 includes six pixel cells 26 aligned in the first direction.
- FIGS. 8A, 8B, and 8C respectively represent captured images generated by imaging data read from the pixel group 28 illustrated in FIG
- the subject image 210 is connected to pixel cells 26 in the third to fourth columns from the left and in the third to fifth rows from the top.
- Image The pixel group 28 from which imaging data is read at the time represented by T1 is the group in the third row from the top.
- An object image 210 is formed on the third and fourth pixel cells 26 from the left among the pixel cells 26 included in the pixel group 28 from which imaging data is read.
- the subject image 210 is captured in the third row from the top of the captured image, and the pixels in the third row and the fourth row from the left.
- the subject image 210 is from the right half of the third column from the left to the left half of the fifth column, and from the top to the third to fifth rows.
- the image is formed on the pixel cell 26 of The pixel group 28 from which imaging data is read at the time represented by T2 is the group in the fourth row from the top.
- a subject image 210 is formed.
- FIG. 8B in the fourth row from the top of the captured image, the right half of the third row of pixels from the left, the fourth row of pixels, and the left half of the fifth row of pixels, The subject image 210 is further captured.
- the subject image 210 is connected to the pixel cells 26 in the fourth to fifth columns from the left and in the third to fifth rows from the top.
- Image The pixel group 28 from which imaging data is read at the time represented by T3 is the group in the fifth row from the top.
- An object image 210 is formed on the fourth and fifth pixels from the left among the pixel cells 26 included in the pixel group 28 from which imaging data is read.
- the subject image 210 is further captured in the fifth row from the top of the captured image, and the pixels in the fourth and fifth columns from the left.
- the shape of the subject image 210 captured in the captured image is a parallelogram.
- the actual shape of the subject image 210 is rectangular. That is, while the imaging data is sequentially read in the second direction, the shape of the object image 210 captured in the imaged image is actually the movement of the object image 210 in the first direction intersecting the second direction. As compared with the shape of the subject image 210, it can be deformed so as to be skewed obliquely.
- a person who views the captured image deforms so as to expand or reduce in the left-right direction as shown in FIG. 6C than the shape of the subject image 210 that is deformed and captured so as to be skewed as shown in FIG. 8C. It is difficult to feel discomfort in the shape of the photographed subject image 210. That is, as exemplified in FIGS. 5A, 5B and 5C and FIGS. 6A, 6B and 6C, when the first direction intersects the moving direction of the subject image 210, the first direction is the moving direction of the subject image 210. Compared to the case of being parallel to, the sense of incongruity felt by a human relative to the shape of the subject image 210 captured in the captured image can be reduced.
- the imaging device 1 may be configured such that the first direction is orthogonal to the moving direction of the subject image 210. That is, the vector representing the first direction may not have a component in the same direction as the movement direction of the subject image 210.
- the vector representing the first direction does not have a component in the same direction as the moving direction of the subject image 210
- imaging is performed as compared to the case where the vector representing the first direction has a component in the same direction as the moving direction of the subject image 210.
- the subject image 210 captured in the image is less likely to be distorted diagonally. As a result, the sense of incongruity felt by a human relative to the shape of the subject image 210 captured in the captured image can be reduced.
- the cameras 20 a, 20 b and 20 c of the imaging device 1 may be mounted on a moving body 100 moving along the moving surface 200.
- the cameras 20a, 20b and 20c are collectively referred to as a camera 20.
- the moving surface 200 may be a flat surface or a curved surface.
- the moving surface 200 may be a surface in which a plurality of surfaces are connected.
- the moving surface 200 shown in FIG. 9 is a ground and an XY plane, but may be various other surfaces.
- the moving body 100 is a passenger car, but may be another vehicle or aircraft traveling on the ground, or a ship moving on the sea.
- the forward direction of the mobile unit 100 is assumed to be the positive direction of the X axis.
- the mobile unit 100 may further include a display 30 for displaying a captured image.
- the combination of the imaging device 1 and the display 30 may function as an electronic mirror or a surrounding monitor by displaying on the display 30 an image obtained by imaging the periphery of the moving body 100 by the imaging device 1.
- the display 30 may be located near the center of the center console of the vehicle, or may be located at the right and left ends of the interior of the vehicle as an alternative to the side mirrors.
- the camera 20 a is located on the left side surface of the moving body 100 instead of the side mirror on the left side in the forward direction of the moving body 100, and images left rear or left diagonal rear of the moving body 100.
- the left side of the moving body 100 in the forward direction corresponds to the positive side of the Y axis.
- the camera 20 b is located on the right side surface of the mobile unit 100 instead of the side mirror on the right side in the forward direction of the mobile unit 100, and images the right rear or the right rear of the mobile unit 100.
- the right side of the moving body 100 in the forward direction corresponds to the negative side of the Y axis.
- the range which camera 20a and 20b image picks up, when mobile 100 is provided with a side mirror, the range which driver 110 can check with a side mirror is included.
- At least the imaging optical system 24 of the camera 20 may be located on the side of the movable body 100. At least a part of the imaging optical system 24 located on the side of the subject image 210 may be located on the side surface of the moving body 100.
- the imaging device 22 may be located apart from the side surface of the moving body 100.
- the imaging device 22 may be located in the vehicle body of the vehicle.
- the subject image 210 incident on a part of the imaging optical system 24 located on the side of the subject image 210 can form an image on the imaging surface 23 of the imaging element 22 through the other part of the imaging optical system 24.
- the imaging device 1 may include the imaging element 22 corresponding to the imaging optical system 24 located on the subject image 210 side.
- the camera 20 a may capture not only the left rear or the left rear of the mobile 100 but also the left side or the left front of the mobile 100.
- the camera 20 b may capture not only the right rear or the right rear of the moving body 100 but also the right side or the right front of the moving body 100.
- the camera 20 c is positioned behind the mobile unit 100 as a back camera that captures a direction corresponding to the rear with respect to the forward direction of the mobile unit 100. Backward in the forward direction of the mobile unit 100 is the negative direction of the X axis.
- the camera 20c may be located in place of the rearview mirror of the vehicle. When the camera 20c is positioned instead of the rearview mirror, the range captured by the camera 20c includes the range that the driver 110 can check with the rearview mirror.
- the moving body 100 moves along the moving surface 200. That is, the moving direction of the moving body 100 is along the moving surface 200.
- the moving direction of the moving body 100 can be represented by a vector on the XY plane.
- the imaging device 1 is mounted on the moving body 100 such that the first direction representing the arrangement of the pixel cells 26 of the imaging element 22 intersects the moving surface 200, the first direction intersects the moving direction of the moving body 100. sell.
- the subject image 210 located on the moving surface 200 is captured by the imaging device 1 mounted on the moving body 100. It is assumed that the shape of the subject image 210 as viewed from the camera 20 of the imaging device 1 is a rectangular subject shape 212 a shown by a broken line in FIGS. 11 and 12. That is, when imaging the subject image 210 in which the imaging apparatus 1 is at rest while the moving body 100 is at rest, the subject image 210 has the same shape as the subject shape 212a shown by the broken line in FIGS. It can appear in the captured image.
- the camera 20 reads out imaging data in the order of the second direction indicated by v from the pixel group 28 including the pixel cells 26 aligned along the first direction indicated by u.
- the first direction may be from the top to the bottom of the drawing.
- the second direction may be from the left to the right of the drawing. Due to the movement of the movable body 100, the subject image 210 seen from the camera 20 moves relatively. When the subject image 210 viewed from the camera 20 moves, the subject image 210 captured in the captured image may be deformed.
- the moving direction of the subject image 210 may be the same as the second direction.
- the subject image 210 can be reflected in the captured image in a shape expanded in the left-right direction as compared with the actual subject shape 212a, as in the case of the subject shape 212b indicated by a solid line in FIG.
- the reason why the subject shape 212b shown in the captured image is expanded in the lateral direction with respect to the actual subject shape 212a is shown in the captured image in the example shown in FIGS. 5A, 5B and 5C and 6A, 6B and 6C. This is the same as the cause of the deformation of the subject image 210.
- the camera 20 may read imaging data from the pixel group 28 sequentially from top to bottom. That is, the second direction represented by v may be a direction from top to bottom. When the second direction is a direction from the top to the bottom, the moving direction of the subject image 210 may intersect the second direction. In this case, the subject image 210 can be reflected in the captured image in a shape that is obliquely distorted as compared with the actual subject shape 212a, as in the case of the subject shape 212b indicated by a solid line.
- the reason why the subject shape 212b shown in the captured image is distorted obliquely to the actual subject shape 212a is the subject shown in the captured image in the example shown in FIGS. 7A, 7B and 7C and FIGS. 8A, 8B and 8C. This is the same as the cause of the deformation of the image 210.
- a person who looks at a captured image feels a sense of discomfort in the direction of the subject shape 212b that is expanded in the left-right direction as shown in FIG. 11, rather than the object shape 212b that is distorted as shown in FIG. Hateful. That is, when the second direction is the same as the moving direction of the subject image 210, compared to the case where the second direction is orthogonal to the moving direction of the subject image 210, the human makes the shape of the subject image 210 captured in the captured image. The sense of discomfort may be reduced.
- the second direction When the second direction intersects the moving direction of the subject image 210, the second direction has a component in the same direction as the moving direction of the subject image 210. Compared with the case where the second direction is orthogonal to the moving direction of the subject image 210, the second direction has a component in the same direction as the moving direction of the subject image 210, the shape of the subject image captured in the captured image The discomfort felt by humans can be reduced.
- the driver 110 of the moving object 100 may not easily feel discomfort in the captured image. As a result, the driver 110 is less likely to misunderstand the surrounding situation.
- the camera 20 mounted on the moving body 100 can capture objects 214 a to 214 g located around the moving body 100 on the moving surface 200.
- the subjects 214a to 214g are collectively referred to as a subject 214.
- the camera 20 is mounted on the movable body 100 so that the imaging surface 23 is along the YZ plane.
- the imaging plane 23 is not limited to the YZ plane, and may be along another plane.
- the first direction represented by u and the second direction represented by v are respectively the negative direction of the Z axis and the positive direction of the Y axis (FIG. 14A). Etc.).
- the camera 20a mounted on the left side of the mobile unit 100 can capture subject images 210a and 210b located on the left rear of the mobile unit 100 on the imaging surface 23a.
- the subject images 210a and 210b correspond to the subjects 214a and 214b, respectively. It is assumed that the subject image 210a is located in the opposite direction to the traveling direction of the moving object 100 as viewed from the imaging surface 23a.
- the subject image 210b is positioned in a direction having a predetermined angle represented by ⁇ with respect to the direction in which the subject image 210a is located, in a plane along the XY plane.
- An image as shown in FIG. 14A can be formed on the imaging surface 23a. In the images shown in FIGS.
- the direction from left to right corresponds to the positive direction of the Y axis.
- the direction from the back side to the front side corresponds to the positive direction of the X axis.
- the subject image 210 b is formed on the side of the Y axis positive direction more than the subject image 210 a.
- the angle ( ⁇ ) representing the direction of the subject image 210b viewed from the imaging surface 23a can be small. Therefore, the position at which the subject image 210b is imaged on the imaging surface 23a can move in the direction indicated by L in FIG. 14A.
- the direction represented by L is the direction from right to left in the drawing.
- the angle ( ⁇ ) representing the direction of the subject image 210b viewed from the imaging surface 23a is larger, the position at which the subject image 210b is imaged on the imaging surface 23a can move faster.
- the camera 20b mounted on the right side of the mobile unit 100 can capture subject images 210c and 210d located on the right rear of the mobile unit 100 on the imaging surface 23b.
- the subject images 210c and 210d correspond to the subjects 214c and 214d, respectively. It is assumed that the subject image 210c is located in the opposite direction to the traveling direction of the moving object 100 when viewed from the imaging surface 23b.
- the subject image 210 d is positioned in a direction having a predetermined angle represented by ⁇ with respect to the direction in which the subject image 210 c is located, in a plane along the XY plane.
- An image as shown in FIG. 14B can be formed on the imaging surface 23b.
- the subject image 210d is formed on the negative side of the Y axis with respect to the subject image 210c.
- the direction of the subject image 210c seen from the imaging surface 23b does not easily change. Therefore, the position where the subject image 210c is formed on the imaging surface 23b is hard to move.
- the angle ( ⁇ ) representing the direction of the subject image 210d viewed from the imaging surface 23b can be small. Therefore, the position at which the subject image 210d is imaged on the imaging surface 23b can move in the direction indicated by R in FIG. 14B.
- the direction represented by R is the direction from left to right on the drawing.
- the angle ( ⁇ ) representing the direction of the subject image 210d viewed from the imaging surface 23b is larger, the position at which the subject image 210d is imaged on the imaging surface 23b can move faster.
- the position where the subject image 210b is formed on the imaging surface 23a by the forward movement of the moving body 100 and the position where the object image 210d is formed on the imaging surface 23b are mutually different. It can move in the reverse direction.
- the images of the subject images 210b and 210d shown in the captured image can be enlarged or reduced in the Y-axis direction at a predetermined magnification.
- the subject image 210b moves in the negative direction of the Y axis.
- the shape of the subject image 210b shown in the captured image may be a shape reduced in the Y-axis direction.
- the subject image 210d moves in the positive direction of the Y axis because of this, the shape of the subject image 210d that appears in the captured image is a shape that is enlarged in the Y-axis direction. That is, in the imaging surfaces 23a and 23b located on opposite sides of the moving body 100, when the second direction is the same direction, the deformation of the subject image 210 captured in the captured image may be different from each other.
- the shape of the subject image 210d shown in the captured image is the shape reduced in the Y axis direction Become.
- the subject images 210b and 210d captured in the respective captured images can be similarly deformed. That is, in the imaging surface 23 located on the opposite side surfaces of the moving body 100, when the second directions are opposite to each other, the shape of the subject image 210 captured in the captured image captured by each imaging surface 23 is The shape of the actual subject image 210 can be similarly deformed. As a result, the driver 110 of the mobile unit 100 is less likely to feel discomfort in the difference between the left and right captured images.
- the camera 20c mounted behind the moving body 100 can capture subject images 210e, 210f and 210g located behind the moving body 100 on the imaging surface 23c.
- the subject images 210e, 210f and 210g correspond to the subjects 214e, 214f and 214g, respectively. It is assumed that the subject image 210e is located in the opposite direction to the traveling direction of the moving object 100 when viewed from the imaging surface 23c.
- the subject images 210f and 210g are each positioned in a direction having a predetermined angle with respect to the direction in which the subject image 210e is located, in a plane along the XY plane. An image as shown in FIG. 14C can be formed on the imaging surface 23c.
- the subject image 210 f is formed on the side of the Y axis positive direction more than the subject image 210 e.
- the subject image 210g is formed on the negative side of the Y axis with respect to the subject image 210e.
- the position at which the subject images 210f and 210g are formed is moved because the moving object 100 moves forward and a predetermined angle between the direction in which the subject images 210f and 210g are located and the direction in which the subject image 210e is located Is smaller.
- the second direction is the positive direction of the Y axis.
- the subject images 210f and 210g move in the negative direction of the Y axis and the positive direction of the Y axis, respectively. Therefore, the shapes of the subject images 210f and 210g in the captured image can be reduced in the Y-axis direction and enlarged in the Y-axis direction.
- the shapes of the subject images 210f and 210g in the captured image may be an enlarged shape and a reduced shape in the Y axis direction. That is, depending on the position at which the subject image 210 is formed on the imaging surface 23, the subject image 210 captured in the captured image may be deformed into a different shape.
- the processor 10 may correct the shape of the subject image 210 captured in the captured image.
- the processor 10 may correct the shape of the subject image 210 in the captured image based on the second direction of the imaging surface 23 and the position where the subject image 210 is in the captured image. By doing this, the driver 110 is less likely to feel discomfort with the captured image.
- the processor 10 may correct the shape of the subject image 210b appearing in the captured image so as to be enlarged in the Y-axis direction.
- the processor 10 detects the subject image 210b captured in the captured image as the position at which the subject image 210b is formed on the imaging surface 23a is closer to the Y-axis positive direction than the position at which the subject image 210a is formed.
- the magnification of expanding the shape of in the Y-axis direction may be increased.
- the processor 10 may correct the shape of the subject image 210d captured in the captured image so as to reduce in the Y-axis direction.
- the processor 10 moves the subject image 210d on the captured image as the position on the imaging surface 23b at which the subject image 210d is formed is closer to the negative side of the Y axis than the position at which the subject image 210c is formed.
- the scaling factor for reducing the shape of in the Y-axis direction may be reduced.
- the processor 10 may correct the shape of the subject image 210f appearing in the captured image so as to be enlarged in the Y-axis direction.
- the processor 10 detects the subject image 210f captured in the captured image as the position at which the subject image 210f is imaged on the imaging surface 23c is closer to the Y-axis positive direction than the position at which the subject image 210e is imaged.
- the magnification of expanding the shape of in the Y-axis direction may be increased.
- the processor 10 may correct the shape of the subject image 210g appearing in the captured image so as to reduce in the Y-axis direction.
- the processor 10 detects the subject image 210g captured in the captured image as the position where the subject image 210g is imaged on the imaging surface 23c is closer to the negative direction of the Y axis than the position where the subject image 210e is imaged.
- the scaling factor for reducing the shape of in the Y-axis direction may be reduced.
- the processor 10 may correct the shape of the subject image 210 shown in the captured image further based on the velocity of the moving object 100. For example, the processor 10 increases the magnification for enlarging the shape of the subject image 210 in the Y-axis direction as the moving speed of the moving object 100 is faster, or decreases the magnification for reducing the shape of the subject image 210 in the Y-axis direction. You may By doing this, the driver 110 is less likely to feel discomfort with the captured image.
- the processor 10 may correct the shape of the subject image 210 shown in the captured image based on the moving speed of the position on the imaging surface 23 at which the subject image 210 is formed.
- the processor 10 may calculate the moving speed of the position where the object image 210 is formed on the imaging surface 23 based on the speed of the moving body 100.
- the moving speed of the moving body 100 may be slower than when moving forward.
- the deformation of the shape of the subject image 210 in the captured image may be regarded as a negligible deformation.
- the processor 10 may not correct the captured image. By doing this, the load on the processor 10 can be reduced.
- the moving body 100 When the moving body 100 travels on a narrow road or is in a congested vehicle train, the moving body 100 is compared to the case where the moving body 100 normally moves on a highway or a main road, etc.
- the moving speed of can be slow.
- the moving speed of the moving body 100 is slower than the predetermined speed, the deformation of the shape of the subject image 210 in the captured image may be regarded as a negligible deformation.
- the processor 10 may not correct the captured image. By doing this, the load on the processor 10 can be reduced.
- the predetermined velocity may be determined based on various information such as the position of the mobile unit 100, the situation around the mobile unit 100, and the like.
- the imaging device 1 When the imaging device 1 is mounted on the moving body 100, the relationship between the moving surface 200 and the first direction and the second direction for specifying the order in which the imaging element 22 reads the imaging data from each pixel cell 26 can be adjusted.
- the imaging device 1 may be mounted on the moving body 100 such that the first direction intersects the moving surface 200.
- the imaging device 1 may include the substrate 14 on which the imaging element 22 is mounted.
- the processor 10 may be further mounted on the substrate 14.
- the imaging device 22 may be mounted such that the first direction and the second direction are the positive direction of the Z axis and the negative direction of the Y axis.
- the imaging optical system 24 indicated by a phantom line of a two-dot chain line may be positioned so that the optical axis thereof is aligned with the center of the imaging surface 23 of the imaging element 22.
- the imaging device 1 may include a housing 50.
- the housing 50 may include an attachment portion 52 for attaching the imaging device 1 to the movable body 100.
- the attachment portion 52 may have a hole through which a screw or the like passes.
- the housing 50 may include at least two attachment portions 52.
- the attachment portion 52 may be located around the housing 50.
- the mounting portion 52 may be located on the surface of the housing 50 opposite to the imaging optical system 24.
- the attachment portion 52 may be positioned so as not to be point-symmetrical about any point of the housing 50.
- the attachment unit 52 can specify the relationship between the first direction on the imaging surface 23 and the moving surface 200.
- the imaging device 1 can be mounted on the moving body 100 such that the first direction intersects the moving surface 200.
- the processor 10 determines the relationship between the first direction and the movement surface 200 by specifying the mounting direction of the imaging device 1 by the mounting unit 52. It can be controlled according to the actual mounting condition.
- the imaging device 1 may include a mark or the like indicating the first direction or the second direction of the imaging element 22 in the housing 50. If the mounting portion 52 is not point-symmetrical about an arbitrary point of the housing 50, it can be said that the position of the mounting portion 52 is a mark representing the first direction or the second direction of the imaging device 22. By providing the imaging device 1 with a mark or the like representing the first direction or the second direction, a mistake is less likely to occur when the imaging device 1 is attached to the moving body 100.
- the cameras 20 a and 20 b may be mounted on the left side and the right side of the moving body 100 respectively.
- the mounting portion 52 of the camera 20a and the mounting portion 52 of the camera 20b may have different positional relationships. In this way, when the cameras 20 having different second directions are mounted on the movable body 100, they are less likely to be attached.
- the mobile unit 100 in the present disclosure may include a vehicle, a ship, and the like.
- the vehicles in the present disclosure include, but are not limited to, automobiles and industrial vehicles, and may include railway vehicles and living vehicles, and planes traveling on a runway.
- Automobiles include but are not limited to passenger cars, trucks, buses, motorcycles, trolley buses, etc., and may include other vehicles traveling on the road.
- Industrial vehicles include industrial vehicles for agriculture and construction.
- Industrial vehicles include, but are not limited to, forklifts and golf carts.
- Industrial vehicles for agriculture include, but are not limited to, tractors, tillers, transplanters, binders, combines, and lawn mowers.
- Industrial vehicles for construction include, but are not limited to, bulldozers, scrapers, excavators, cranes, dump trucks, and road rollers. Vehicles include those that travel by human power.
- the classification of vehicles is not limited to the above.
- a car may include an industrial vehicle capable of traveling on a road. Multiple classifications may include the same vehicle.
- the vessels in the present disclosure include marine jets, boats, and tankers.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
撮像装置は、移動面に沿って移動する移動体に搭載される、撮像光学系と、撮像素子とを備える。撮像光学系は、移動体の周囲に位置する被写体を結像する。撮像素子は、撮像光学系で結像された被写体像を撮像する画素セルが並ぶ撮像面を有する。画素セルは、移動面に対して交差する第1方向に沿って並ぶ画素毎に画素グループに属する。画素グループは、第1方向に交差する第2方向に並ぶ。撮像素子は、画素グループが第2方向に沿って並ぶ順番で、画素グループ毎に被写体像の撮像データを読み出す。
Description
本出願は、日本国特許出願2017-187197号(2017年9月27日出願)の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
本開示は、撮像装置及び移動体に関する。
車両にCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを搭載して走行中に車外を撮像する構成が知られている(例えば、特許文献1参照)。
本開示の一実施形態に係る撮像装置は、移動面に沿って移動する移動体に搭載される、撮像光学系と、撮像素子とを備える。前記撮像光学系は、前記移動体の周囲に位置する被写体を結像する。前記撮像素子は、前記撮像光学系で結像された被写体像を撮像する画素が並ぶ撮像面を有する。前記画素は、前記移動面に対して交差する第1方向に沿って並ぶ画素毎に画素グループに属する。前記画素グループは、前記第1方向に交差する第2方向に並ぶ。前記撮像素子は、前記画素グループが前記第2方向に沿って並ぶ順番で、前記画素グループ毎に前記被写体像の撮像データを読み出す。
本開示の一実施形態に係る移動体は、移動面に沿って移動する。前記移動体は、撮像光学系と、撮像素子とを備える撮像装置を搭載する。前記撮像光学系は、前記移動体の周囲に位置する被写体を結像する。前記撮像素子は、前記撮像光学系で結像された被写体像を撮像する画素が並ぶ撮像面を有する。前記画素は、前記移動面に対して交差する第1方向に沿って並ぶ画素毎に画素グループに属する。前記画素グループは、前記第1方向に交差する第2方向に並ぶ。前記撮像素子は、前記画素グループが前記第2方向に沿って並ぶ順番で、前記画素グループ毎に前記被写体像の撮像データを読み出す。
CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが移動する物体を撮像する場合、撮像した画像に写る物体の形状が斜めに歪む、いわゆるフォーカルプレーン歪みが発生しうる。CMOSイメージセンサが車両に搭載され、例えば電子ミラーとして用いられる場合、画像に写る物体の形状の歪みは、車両を運転する人間の誤認を誘発しうる。
フォーカルプレーン歪みを低減するために、CMOSイメージセンサによる撮像のフレームレートを高くする場合、消費電力の増大、又は、露光時間不足による画像の明度低下等の問題が生じうる。
フォーカルプレーン歪みを低減するために、CMOSイメージセンサで撮像した画像を補正する場合、画像処理回路の増大、又は、画像処理回路における消費電力の増大等の問題が生じうる。
フォーカルプレーン歪みを低減するために、CCD(Charge Coupled Device)が採用されてよい。しかし、自動車に搭載されるイメージセンサの主流は、CMOSイメージセンサとなっている。一部のイメージセンサだけをCCDとすることは現実的ではない。
フォーカルプレーン歪みを低減するために、グローバルシャッター機能が採用されてよい。しかし、コストの増大、又は、部品の占有面積の増大等の問題が生じうる。
フォーカルプレーン歪みを低減するために、上述の方法が採用される場合、種々の問題が生じうる。本実施形態に係る撮像装置1によれば、以下説明するように、上述の問題が発生することなく、撮像画像のフォーカルプレーン歪みが低減されうる。
図1に示されるように、一実施形態に係る撮像装置1は、プロセッサ10と、記憶部12と、カメラ20とを備える。撮像装置1は、ディスプレイ30に接続される。カメラ20は、撮像素子22と撮像光学系24とを備える。撮像光学系24は、レンズ又はミラー等の光学素子を含んでよい。カメラ20は、撮像光学系24によって結像される被写体像を撮像素子22で撮像する。カメラ20で撮像された画像は、撮像画像ともいう。撮像素子22は、原理的にフォーカルプレーン歪みが発生しうる、CMOSイメージセンサ等のデバイスであってよい。
プロセッサ10は、カメラ20に対して制御情報を出力し、カメラ20から撮像画像を取得する。プロセッサ10は、ディスプレイ30に撮像画像を出力し、ディスプレイ30に撮像画像を表示させてよい。
プロセッサ10は、プログラムに応じた汎用の処理を実行するものであってよいし、特定の処理を実行するものであってよい。プロセッサ10は、特定用途向けIC(Integrated Circuit)を含んでよい。特定用途向けICは、ASIC(Application Specific Integrated Circuit)ともいう。プロセッサ10は、プログラマブルロジックデバイスを含んでよい。プログラマブルロジックデバイスは、PLD(Programmable Logic Device)ともいう。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。プロセッサ10は、1つ又は複数のIC又はデバイス等が協働するSoC(System-on-a-Chip)、及びSiP(System In a Package)のいずれかであってよい。
記憶部12は、撮像装置1の動作に関する各種情報又はパラメータを格納してよい。記憶部12は、プロセッサ10で実行されるプログラムを格納してよい。記憶部12は、例えば半導体メモリ等で構成されてよい。記憶部12は、プロセッサ10のワークメモリとして機能してよい。記憶部12は、撮像画像を格納してよい。記憶部12は、プロセッサ10に含まれてよい。
ディスプレイ30は、プロセッサ10から取得した撮像画像を表示してよい。ディスプレイ30は、例えば液晶、有機EL(Electro-Luminescence)、無機EL又はLED(Light Emission Diode)等の表示デバイスで構成されてよい。
プロセッサ10、カメラ20、及びディスプレイ30は、互いに通信するための通信デバイスを備えてよい。通信デバイスは、例えば、LAN(Local Area Network)又はCAN(Control Area Network)等の通信インターフェースであってよい。通信デバイスは、有線又は無線で通信してよい。
図2に示されるように、撮像素子22は、複数の画素セル26が並ぶ撮像面23を有する。被写体像は、撮像光学系24によって、撮像面23上に結像される。撮像素子22は、各画素セル26において被写体像を受光し、各画素セル26が出力する電圧又は電流の信号に基づいて、撮像画像を生成する。各画素セル26が出力する電圧又は電流の信号は、撮像データともいう。画素セル26は、撮像面23上で、uで表される第1方向と、vで表される第2方向とにそれぞれ沿って並んでよい。第1方向は、上から下に向かう方向であるがこれに限られず他の方向であってよい。第2方向は、左から右に向かう方向であるがこれに限られず他の方向であってよい。第1方向と第2方向とは、互いに交差する。第1方向と第2方向とは、直交してよい。第2方向を表すベクトルは、少なくとも第1方向に直交する成分を含むといえる。
撮像素子22は、複数の画素セル26を要素とする画素グループ28を有してよい。画素グループ28は、要素として第1方向に沿って並ぶ画素セル26を含んでよい。言い換えれば、画素セル26は、第1方向に沿って並ぶ画素セル26毎に画素グループ28に属してよい。画素グループ28は、第1方向に沿う直線上に並ぶ画素セル26を含んでよい。画素グループ28は、一列に並ぶ画素セル26を要素として含んでよいし、二列以上に並ぶ画素セル26を要素として含んでよい。
例えば図3に示されるように、画素セル26は、撮像面23上で、第1方向に沿いつつ、第2方向にずれて並んでもよい。画素グループ28は、第1方向に沿って並びつつ、第2方向に所定距離以内のずれで並ぶ画素セル26を含んでよい。所定距離は、画素セル26の第2方向の長さと同一又は近い値であってよいし、他の値であってよい。
第1方向に沿って並ぶ画素セル26を含む画素グループ28は、第2方向に並ぶ。第2方向が第1方向に直交しない場合であっても、画素グループ28の少なくとも一部の画素セル26は、第1方向に直交する方向に並ぶといえる。第1方向に直交する方向に並ぶ画素セル26は、まっすぐに並んでよいし、第1方向にずれて並んでもよい。画素グループ28に属する画素セル26の少なくとも一部は、第1方向に直交する方向に見て、他の少なくとも1つの画素グループ28に属する画素セル26と重なってよい。
例えば図4に示されるように、第2方向に並ぶ画素グループ28に含まれる画素セル26は、第1方向にずれて位置してよい。つまり、第2方向に並ぶ画素グループ28に含まれる画素セル26は、第2方向にまっすぐに並ばなくてもよい。
撮像素子22は、画素グループ28毎に、第2方向に並ぶ順番で撮像データを読み出すものとする。第2方向が第1方向に直交しない場合であっても、撮像素子22は、画素グループ28の少なくとも一部の画素セル26から、第1方向に直交する方向に順番に撮像データを読み出すといえる。撮像素子22は、画素グループ28の中で、第1方向に並ぶ順番で各画素セル26から撮像データを読み出してよい。撮像素子22は、画素グループ28の各画素セル26から撮像データを読み出した後、次の画素グループ28からの読み出しを開始してよい。撮像素子22は、一列に並ぶ画素セル26のグループごとに撮像データを読み出す、CMOSイメージセンサ等のデバイスであってよい。撮像素子22は、CMOSイメージセンサに限られず、画素グループ28ごとに、第2方向に並ぶ順番で撮像データを読み出す、他のデバイスであってよい。
画素グループ28は、ハードウェアで特定されてよいし、ソフトウェアで特定されてよい。撮像素子22は、プロセッサ10からの制御情報に基づいて、ソフトウェアによって第1方向を異なる向きに変更してよい。つまり、撮像素子22は、画素グループ28に含まれる画素セル26の組合せを変更してよい。撮像素子22は、ソフトウェアによって第2方向を異なる向きに変更してよい。
仮に、撮像素子22がCCDのように画素セル26の全てから一括で撮像データを読み出す場合、被写体像210(図5A等参照)が移動していたとしても、撮像画像に写る被写体像210は歪みにくい。CMOSイメージセンサのように、一部の画素セル26から順番に撮像データを読み出す場合、撮像データを読み出している間に被写体像210が移動することによって、撮像画像に写る被写体像210が歪みうる。
例えば図5A、図5B及び図5Cに示されるように、uで表される第1方向が上から下に向かう方向であり、且つ、vで表される第2方向が左から右に向かう方向である場合に、撮像装置1は、時間の経過とともに第2方向に移動する被写体像210を撮像しうる。図5A、図5B及び図5Cにはそれぞれ、T1、T2及びT3で表される時刻において被写体像210が結像する画素セル26が示されている。図5A、図5B及び図5Cには、各時刻において撮像データの読み出しの対象となる画素グループ28が示されている。画素グループ28は、第1方向に沿って並ぶ6個の画素セル26を含む。図6A、図6B及び図6Cはそれぞれ、図5A、図5B及び図5Cで示される各時刻において読み出された撮像データに基づいて生成された撮像画像を表す。
図5Aに示されるように、T1で表される時刻において、被写体像210は、その像が左から3列目から4列目までの画素セル26に結像する。T1で表される時刻において撮像データが読み出される画素グループ28は、左から3列目のグループである。撮像データが読み出される画素グループ28に含まれる画素セル26のうち、上から3つ目から5つ目までの画素セル26に被写体像210が結像する。結果として、図6Aに示されるように、撮像画像の左から3列目、且つ、上から3行目から5行目までの画素に、被写体像210が写る。
図5Bに示されるように、T2で表される時刻において、被写体像210は、その像が左から3列目の右半分から5列目の左半分までの画素セル26に結像する。T2で表される時刻において撮像データが読み出される画素グループ28は、左から4列目のグループである。撮像データが読み出される画素グループ28に含まれる画素セル26のうち、上から3つ目から5つ目までの画素セル26に被写体像210が結像する。結果として、図6Bに示されるように、撮像画像の左から4列目、且つ、上から3行目から5行目までの画素に、被写体像210がさらに写る。
図5Cに示されるように、T3で表される時刻において、被写体像210は、その像が左から4列目から5列目までの画素セル26に結像する。T3で表される時刻において撮像データが読み出される画素グループ28は、左から5列目のグループである。撮像データが読み出される画素グループ28に含まれる画素セル26のうち、上から3つ目から5つ目までの画素セル26に被写体像210が結像する。結果として、図6Cに示されるように、撮像画像の左から5列目、且つ、上から3行目から5行目までの画素に、被写体像210がさらに写る。
図6Cに示されるように、撮像画像に写った被写体像210の左右方向の大きさは、3画素分の大きさに相当する。一方で、図5A、図5B及び図5Cに示されるように、被写体像210の実際の左右方向の大きさは、2画素分の大きさに相当する。つまり、撮像データが第2方向に順番に読み出されている間に被写体像210が第2方向に移動することによって、撮像画像に写る被写体像210の形状は、実際の被写体像210の形状と比べて、左右方向に拡大しうる。
図5A、図5B及び図5C並びに図6A、図6B及び図6Cに示される例において、撮像装置1が時間の経過とともに第2方向と逆の向きに移動する被写体像210を撮像する場合、撮像画像に写る被写体像210の形状は、実際の被写体像210の形状と比べて、左右方向に縮小しうる。つまり、撮像装置1が第2方向と同じ向き又は逆の向きに移動する被写体像210を撮像する場合、撮像画像に写る被写体像210の形状は、実際の被写体像210の形状と比べて、左右方向に所定の倍率で変形した形状となりうる。所定の倍率は、1より大きくなったり、1より小さくなったりしうる。
図5A、図5B及び図5C並びに図6A、図6B及び図6Cに示される例において、画素セル26の配置は、6行6列の格子状の配置であるが、これに限られず、行数又は列数が異なる配置であってよいし、斜格子状の配置であってよい。画素セル26の配置は、各画素セル26が行又は列にまっすぐに並ばない配置であってもよい。画素セル26の配置は、種々の配置でありうる。
図5A、図5B及び図5C並びに図6A、図6B及び図6Cに示される例とは異なる比較例として、図7A、図7B及び図7Cに示されるように、撮像装置1は、時間の経過とともに第1方向に移動する被写体像210を撮像してよい。図7A、図7B及び図7Cにおける第1方向は、図5A、図5B及び図5Cにおける第1方向とは異なり、左から右に向かう方向である。第2方向は、上から下に向かう方向である。図7A、図7B及び図7Cにはそれぞれ、T1、T2及びT3で表される時刻において被写体像210が結像する画素セル26と、撮像データの読み出しの対象となる画素グループ28とが示されている。画素グループ28は、第1方向に沿って並ぶ6個の画素セル26を含む。図8A、図8B及び図8Cはそれぞれ、図7A、図7B及び図7Cで示される画素グループ28から読み出された撮像データによって生成される撮像画像を表す。
図7Aに示されるように、T1で表される時刻において、被写体像210は、左から3列目から4列目まで、且つ、上から3行目から5行目までの画素セル26に結像する。T1で表される時刻において撮像データが読み出される画素グループ28は、上から3行目のグループである。撮像データが読み出される画素グループ28に含まれる画素セル26のうち、左から3つ目及び4つ目の画素セル26に被写体像210が結像する。結果として、図8Aに示されるように、撮像画像の上から3行目、且つ、左から3列目及び4列目の画素に、被写体像210が写る。
図7Bに示されるように、T2で表される時刻において、被写体像210は、左から3列目の右半分から5列目の左半分まで、且つ、上から3行目から5行目までの画素セル26に結像する。T2で表される時刻において撮像データが読み出される画素グループ28は、上から4行目のグループである。撮像データが読み出される画素グループ28に含まれる画素セル26のうち、左から3列目の画素セル26の右半分、4列目の画素セル26、及び5列目の画素セル26の左半分に被写体像210が結像する。結果として、図8Bに示されるように、撮像画像の上から4行目、且つ、左から3列目の画素の右半分、4列目の画素、及び5列目の画素の左半分に、被写体像210がさらに写る。
図7Cに示されるように、T3で表される時刻において、被写体像210は、左から4列目から5列目まで、且つ、上から3行目から5行目までの画素セル26に結像する。T3で表される時刻において撮像データが読み出される画素グループ28は、上から5行目のグループである。撮像データが読み出される画素グループ28に含まれる画素セル26のうち、左から4つ目及び5つ目の画素に被写体像210が結像する。結果として、図8Cに示されるように、撮像画像の上から5行目、且つ、左から4列目及び5列目の画素に、被写体像210がさらに写る。
図8Cに示されるように、撮像画像に写った被写体像210の形状は、平行四辺形状である。一方で、図7A、図7B及び図7Cに示されるように、被写体像210の実際の形状は、長方形状である。つまり、撮像データが第2方向に順番に読み出されている間に、被写体像210が第2方向に交差する第1方向に移動することによって、撮像画像に写る被写体像210の形状は、実際の被写体像210の形状と比べて、斜めに歪むように変形しうる。
撮像画像を見る人間は、図8Cに示されるように斜めに歪むように変形して写った被写体像210の形状よりも、図6Cに示されるように左右方向に拡大又は縮小するように変形して写った被写体像210の形状の方に、違和感を覚えにくい。つまり、図5A、図5B及び図5C並びに図6A、図6B及び図6Cに例示されるように第1方向が被写体像210の移動方向に交差する場合、第1方向が被写体像210の移動方向に平行となる場合と比べて、撮像画像に写る被写体像210の形状に対して人間が覚える違和感が低減されうる。
撮像装置1は、第1方向が被写体像210の移動方向に直交するように構成されてよい。つまり、第1方向を表すベクトルは、被写体像210の移動方向と同じ向きの成分を有しなくてよい。第1方向を表すベクトルが被写体像210の移動方向と同じ向きの成分を有しない場合、第1方向を表すベクトルが被写体像210の移動方向と同じ向きの成分を有する場合と比較して、撮像画像に写る被写体像210は、斜めに歪みにくくなる。結果として、撮像画像に写る被写体像210の形状に対して人間が覚える違和感が低減されうる。
図9及び図10に示されるように、撮像装置1のカメラ20a、20b及び20cは、移動面200に沿って移動する移動体100に搭載されてよい。カメラ20a、20b及び20cは、カメラ20と総称される。移動面200は、平面であってよいし、曲面であってもよい。移動面200は、複数の面がつながった面であってもよい。図9に示される移動面200は、地面であり、且つ、XY平面であるものとするが、他の種々の面であってよい。移動体100は、乗用車であるものとするが、地面を走行する他の車両又は航空機等であってよいし、海上を移動する船舶であってもよい。移動体100の前進方向は、X軸の正の方向であるものとする。つまり、図9における移動体100の前進方向は、右から左に向く方向であるものとする。図10における移動体100の前進方向は、図面の手前側から奥側に向く方向であるものとする。移動体100には、二点鎖線の仮想線で示される運転者110が搭乗するものとする。移動体100には、撮像画像を表示するディスプレイ30がさらに搭載されてよい。撮像装置1とディスプレイ30との組み合わせは、撮像装置1で移動体100の周囲を撮像した画像がディスプレイ30で表示されることによって、電子ミラー又は周囲モニタ等として機能してよい。ディスプレイ30は、車両のセンターコンソールの中央付近に位置してよいし、サイドミラーの代わりとして車両の室内の右端及び左端に位置してもよい。
カメラ20aは、移動体100の前進方向に向かって左側のサイドミラーの代わりに、移動体100の左側面に位置し、移動体100の左後方又は左斜め後方を撮像する。移動体100の前進方向に向かって左側は、Y軸の正の方向の側に対応する。カメラ20bは、移動体100の前進方向に向かって右側のサイドミラーの代わりに、移動体100の右側面に位置し、移動体100の右後方又は右斜め後方を撮像する。移動体100の前進方向に向かって右側は、Y軸の負の方向の側に対応する。カメラ20a及び20bが撮像する範囲は、移動体100がサイドミラーを備える場合に、運転者110がサイドミラーによって確認しうる範囲を含む。
カメラ20のうち少なくとも撮像光学系24は、移動体100の側面に位置してよい。撮像光学系24の、被写体像210の側に位置する少なくとも一部は、移動体100の側面に位置してよい。撮像素子22は、移動体100の側面から離れて位置してよい。例えば撮像素子22は、車両の車体内に位置してよい。この場合、被写体像210の側に位置する撮像光学系24の一部に入射した被写体像210は、撮像光学系24の他の部分を介して、撮像素子22の撮像面23に結像しうる。言い換えれば、撮像装置1は、被写体像210の側に位置する撮像光学系24に対応する撮像素子22を備えてよい。
カメラ20aは、移動体100の左後方又は左斜め後方だけでなく、移動体100の左側方又は左斜め前方を撮像してよい。カメラ20bは、移動体100の右後方又は右斜め後方だけでなく、移動体100の右側方又は右斜め前方を撮像してよい。
カメラ20cは、移動体100の前進方向に対して後方に対応する方向を撮像するバックカメラとして移動体100の後方に位置する。移動体100の前進方向に向かって後方は、X軸の負の方向である。カメラ20cは、車両のバックミラーの代わりとして位置してよい。カメラ20cがバックミラーの代わりとして位置する場合、カメラ20cが撮像する範囲は、運転者110がバックミラーによって確認しうる範囲を含む。
移動体100は、移動面200に沿って移動する。つまり、移動体100の移動方向は、移動面200に沿う。移動面200がXY平面に対応する場合、移動体100の移動方向は、XY平面上のベクトルで表されうる。撮像素子22の画素セル26の配列を表す第1方向が移動面200に交差するように撮像装置1が移動体100に搭載される場合、第1方向は、移動体100の移動方向と交差しうる。
移動体100に搭載された撮像装置1によって、移動面200の上に位置する被写体像210が撮像されると仮定する。撮像装置1のカメラ20から見た被写体像210の形状は、図11及び図12において破線で示される、矩形状の被写体形状212aであるものとする。つまり、移動体100が静止している状態で撮像装置1が静止している被写体像210を撮像する場合、被写体像210は、図11及び図12において破線で示される被写体形状212aと同じ形状で撮像画像に写りうる。
カメラ20は、uで表される第1方向に沿って並ぶ画素セル26を含む画素グループ28から、vで表される第2方向の順番に撮像データを読み出すものとする。第1方向は、図面の上から下に向かう方向であってよい。第2方向は、図面の左から右に向かう方向であってよい。移動体100の移動によって、相対的に、カメラ20から見た被写体像210は移動する。カメラ20から見た被写体像210が移動する場合、撮像画像に写る被写体像210は変形しうる。
第2方向が左から右に向かう方向である場合、被写体像210の移動方向が、第2方向と同一でありうる。この場合、被写体像210は、図11において実線で示される被写体形状212bのように、実際の被写体形状212aと比べて左右方向に拡大した形状で撮像画像に写りうる。撮像画像に写る被写体形状212bが実際の被写体形状212aに対して左右方向に拡大する原因は、図5A、図5B及び図5C並びに図6A、図6B及び図6Cに示される例において撮像画像に写った被写体像210が変形した原因と同一である。
比較例として、図12に例示されるように、カメラ20は、上から下に向けて順番に画素グループ28から撮像データを読み出してよい。つまり、vで表される第2方向は、上から下に向かう方向であってよい。第2方向が上から下に向かう方向である場合、被写体像210の移動方向が、第2方向と交差しうる。この場合、被写体像210は、実線で示される被写体形状212bのように、実際の被写体形状212aと比べて斜めに歪んだ形状で撮像画像に写りうる。撮像画像に写る被写体形状212bが実際の被写体形状212aに対して斜めに歪む原因は、図7A、図7B及び図7C並びに図8A、図8B及び図8Cに示される例において撮像画像に写った被写体像210が変形した原因と同一である。
撮像画像を見る人間は、図12に示されるように斜めに歪んで写った被写体形状212bよりも、図11に示されるように左右方向に拡大して写った被写体形状212bの方に違和感を覚えにくい。つまり、第2方向が被写体像210の移動方向と同一になる場合、第2方向が被写体像210の移動方向と直交する場合と比べて、撮像画像に写る被写体像210の形状に対して人間が覚える違和感が低減されうる。
第2方向が被写体像210の移動方向と交差する場合、第2方向は、被写体像210の移動方向と同一の方向の成分を有する。第2方向が被写体像210の移動方向と同一の方向の成分を有することによって、第2方向が被写体像210の移動方向と直交する場合と比べて、撮像画像に写る被写体像の形状に対して人間が覚える違和感が低減されうる。撮像画像が移動体100における電子ミラーの表示画像等として用いられる場合において、移動体100の運転者110は、撮像画像に違和感を覚えにくくなりうる。結果として、運転者110が周囲の状況を誤認しにくくなる。
図13に示されるように、移動体100に搭載されたカメラ20は、移動面200において、移動体100の周囲に位置する被写体214a~214gを撮像しうる。被写体214a~214gは、被写体214と総称される。カメラ20は、撮像面23がYZ平面に沿うように移動体100に搭載されるものとする。撮像面23は、YZ平面に限られず、他の面に沿ってよい。撮像面23において、uで表される第1方向、及び、vで表される第2方向はそれぞれ、Z軸の負の方向、及び、Y軸の正の方向であるものとする(図14A等参照)。
移動体100の左側に搭載されるカメラ20aは、撮像面23aで、移動体100の左後方に位置する被写体像210a及び210bを撮像しうる。被写体像210a及び210bはそれぞれ、被写体214a及び214bに対応する。被写体像210aは、撮像面23aから見て、移動体100の進行方向の逆方向に位置するものとする。被写体像210bは、XY平面に沿う面において、被写体像210aが位置する方向に対してαで表される所定角度を有する方向に位置するものとする。撮像面23aには、図14Aに示されるような像が結像されうる。図14A、図14B及び図14Cに示される像において、左から右を向く方向がY軸の正の方向に対応する。奥側から手前側を向く方向がX軸の正の方向に対応する。被写体像210bは、被写体像210aよりもY軸の正の方向の側に結像する。移動体100がX軸の正の方向に向けて前進する場合、撮像面23aから見た被写体像210aの方向は変わりにくい。よって、被写体像210aが撮像面23a内に結像される位置は、動きにくい。移動体100がX軸の正の方向に向けて前進する場合、撮像面23aから見た被写体像210bの方向を表す角度(α)は、小さくなりうる。よって、被写体像210bが撮像面23a内に結像される位置は、図14AにおいてLで表される方向に移動しうる。Lで表される方向は、図面上で右から左に向く方向である。撮像面23aから見た被写体像210bの方向を表す角度(α)が大きいほど、被写体像210bが撮像面23a内に結像される位置は、速く移動しうる。
移動体100の右側に搭載されるカメラ20bは、撮像面23bで、移動体100の右後方に位置する被写体像210c及び210dを撮像しうる。被写体像210c及び210dはそれぞれ、被写体214c及び214dに対応する。被写体像210cは、撮像面23bから見て、移動体100の進行方向の逆方向に位置するものとする。被写体像210dは、XY平面に沿う面において、被写体像210cが位置する方向に対してβで表される所定角度を有する方向に位置するものとする。撮像面23bには、図14Bに示されるような像が結像されうる。被写体像210dは、被写体像210cよりもY軸の負の方向の側に結像する。移動体100がX軸の正の方向に向けて前進する場合、撮像面23bから見た被写体像210cの方向は変わりにくい。よって、被写体像210cが撮像面23b内に結像される位置は、動きにくい。移動体100がX軸の正の方向に向けて前進する場合、撮像面23bから見た被写体像210dの方向を表す角度(β)は、小さくなりうる。よって、被写体像210dが撮像面23b内に結像される位置は、図14BにおいてRで表される方向に移動しうる。Rで表される方向は、図面上で左から右に向く方向である。撮像面23bから見た被写体像210dの方向を表す角度(β)が大きいほど、被写体像210dが撮像面23b内に結像される位置は、速く移動しうる。
図14A及び図14Bに示されるように、移動体100の前進によって、撮像面23aにおいて被写体像210bが結像される位置と、撮像面23bにおいて被写体像210dが結像される位置とは、互いに逆方向に移動しうる。撮像画像に写る被写体像210b及び210dの像は、所定の倍率でY軸方向に拡大したり縮小したりしうる。
撮像面23aにおいて、第1方向が移動面200であるXY平面に交差し、且つ、第2方向がY軸の正の方向である場合、被写体像210bがY軸の負の方向に移動するので、撮像画像に写る被写体像210bの形状は、Y軸方向に縮小した形状となりうる。一方、撮像面23bにおいて、第1方向が移動面200であるXY平面に交差し、且つ、第2方向がY軸の正の方向である場合、被写体像210dがY軸の正の方向に移動するので、撮像画像に写る被写体像210dの形状は、Y軸方向に拡大した形状となる。つまり、移動体100において互いに反対の側面に位置する撮像面23a及び23bにおいて、第2方向が同一の方向である場合、撮像画像に写る被写体像210の変形が互いに異なりうる。
撮像面23bの第2方向が、撮像面23aの第2方向とは逆に、Y軸の負の方向である場合、撮像画像に写る被写体像210dの形状は、Y軸方向に縮小した形状となる。撮像面23aの第2方向と撮像面23bの第2方向とが互いに逆の方向であることによって、それぞれの撮像画像に写る被写体像210b及び210dは、同じように変形しうる。つまり、移動体100において互いに反対の側面に位置する撮像面23において、その第2方向が互いに逆の方向である場合、各撮像面23で撮像される撮像画像に写る被写体像210の形状は、実際の被写体像210の形状に対して同じように変形しうる。結果として、移動体100の運転者110は、左右の撮像画像の違いに違和感を覚えにくくなる。
移動体100の後方に搭載されるカメラ20cは、撮像面23cで、移動体100の後方に位置する被写体像210e、210f及び210gを撮像しうる。被写体像210e、210f及び210gはそれぞれ、被写体214e、214f及び214gに対応する。被写体像210eは、撮像面23cから見て、移動体100の進行方向の逆方向に位置するものとする。被写体像210f及び210gはそれぞれ、XY平面に沿う面において、被写体像210eが位置する方向に対して所定角度を有する方向に位置するものとする。撮像面23cには、図14Cに示されるような像が結像されうる。被写体像210fは、被写体像210eよりもY軸の正の方向の側に結像する。被写体像210gは、被写体像210eよりもY軸の負の方向の側に結像する。移動体100がX軸の正の方向に向けて前進する場合、撮像面23cから見た被写体像210eの方向は変わりにくい。よって、被写体像210eが撮像面23c内に結像される位置は、動きにくい。移動体100がX軸の正の方向に向けて前進する場合、被写体像210f及び210gが撮像面23c内に結像される位置はそれぞれ、L及びRで表される方向に移動しうる。被写体像210f及び210gが結像される位置が移動する理由は、移動体100が前進することによって、被写体像210f及び210gが位置する方向と、被写体像210eが位置する方向との間の所定角度が小さくなるためである。
撮像面23cにおいて、第2方向がY軸の正の方向であると仮定する。被写体像210f及び210gはそれぞれ、Y軸の負の方向及びY軸の正の方向に移動する。よって、撮像画像に写る被写体像210f及び210gそれぞれの形状は、Y軸方向に縮小した形状及びY軸方向に拡大した形状となりうる。撮像面23cにおいて、第2方向がY軸の負の方向であると仮定した場合、撮像画像に写る被写体像210f及び210gそれぞれの形状は、Y軸方向に拡大した形状及び縮小した形状となりうる。つまり、撮像面23において被写体像210が結像する位置によって、撮像画像に写る被写体像210は、異なる形状に変形しうる。
プロセッサ10は、撮像画像に写った被写体像210の形状を補正してよい。プロセッサ10は、撮像面23の第2方向と、被写体像210が撮像画像に写っている位置とに基づいて、撮像画像に写っている被写体像210の形状を補正してよい。このようにすることで、運転者110は、撮像画像に対してさらに違和感を覚えにくくなる。
例えば、図14Aに示される例において、プロセッサ10は、撮像画像に写っている被写体像210bの形状をY軸方向に拡大するように補正してよい。プロセッサ10は、撮像面23aにおける被写体像210bが結像する位置が、被写体像210aが結像する位置よりもY軸の正の方向の側に位置するほど、撮像画像に写っている被写体像210bの形状をY軸方向に拡大する倍率を大きくしてよい。
例えば、図14Bに示される例において、プロセッサ10は、撮像画像に写っている被写体像210dの形状をY軸方向に縮小するように補正してよい。プロセッサ10は、撮像面23bにおける被写体像210dが結像する位置が、被写体像210cが結像する位置よりもY軸の負の方向の側に位置するほど、撮像画像に写っている被写体像210dの形状をY軸方向に縮小する倍率を小さくしてよい。
例えば、図14Cに示される例において、プロセッサ10は、撮像画像に写っている被写体像210fの形状をY軸方向に拡大するように補正してよい。プロセッサ10は、撮像面23cにおける被写体像210fが結像する位置が、被写体像210eが結像する位置よりもY軸の正の方向の側に位置するほど、撮像画像に写っている被写体像210fの形状をY軸方向に拡大する倍率を大きくしてよい。プロセッサ10は、撮像画像に写っている被写体像210gの形状をY軸方向に縮小するように補正してよい。プロセッサ10は、撮像面23cにおける被写体像210gが結像する位置が、被写体像210eが結像する位置よりもY軸の負の方向の側に位置するほど、撮像画像に写っている被写体像210gの形状をY軸方向に縮小する倍率を小さくしてよい。
プロセッサ10は、撮像画像に写る被写体像210の形状を、さらに移動体100の速度に基づいて、補正してよい。例えば、プロセッサ10は、移動体100が前進する速度が速いほど、被写体像210の形状をY軸方向に拡大する倍率を大きくしたり、被写体像210の形状をY軸方向に縮小する倍率を小さくしたりしてよい。このようにすることで、運転者110は、撮像画像に対してさらに違和感を覚えにくくなる。プロセッサ10は、撮像画像に写る被写体像210の形状を、撮像面23における被写体像210が結像する位置の移動速度に基づいて、補正してもよい。プロセッサ10は、移動体100の速度に基づいて、撮像面23における被写体像210が結像する位置の移動速度を算出してもよい。
移動体100が後退する場合、前進する場合と比較して、移動体100の移動速度は、遅くなりうる。移動体100が後退する場合、撮像画像に写る被写体像210の形状の変形は、無視できる程度の変形であるとみなされてよい。この場合、プロセッサ10は、撮像画像を補正しないようにしてよい。このようにすることで、プロセッサ10の負荷が低減されうる。
移動体100が狭い幅の道路を移動したり、渋滞している車列の中にいたりする場合、移動体100が高速道路又は幹線道路等を通常に移動する場合と比較して、移動体100の移動速度は遅くなりうる。移動体100の移動速度が所定速度よりも遅い場合、撮像画像に写る被写体像210の形状の変形は、無視できる程度の変形であるとみなされてよい。この場合、プロセッサ10は、撮像画像を補正しないようにしてよい。このようにすることで、プロセッサ10の負荷が低減されうる。所定速度は、移動体100の位置、移動体100の周囲の状況等の種々の情報に基づいて決定されてよい。
撮像装置1が移動体100に搭載される際、撮像素子22が各画素セル26から撮像データを読み出す順番を特定する第1方向及び第2方向と、移動面200との関係が調整されうる。撮像装置1は、第1方向が移動面200に交差するように、移動体100に搭載されてよい。例えば図15に示されるように、撮像装置1は、撮像素子22が実装された基板14を備えてよい。基板14には、プロセッサ10がさらに実装されてよい。撮像素子22は、第1方向及び第2方向がZ軸の正の方向及びY軸の負の方向となるように実装されてよい。二点鎖線の仮想線で示される撮像光学系24は、その光軸が撮像素子22の撮像面23の中心に合うように位置してよい。
撮像装置1は、筐体50を備えてよい。筐体50は、撮像装置1を移動体100に取り付けるための取付部52を備えてよい。取付部52は、ねじ等を貫通させる孔を有してよい。筐体50は、取付部52を少なくとも2つ備えてよい。取付部52は、筐体50の周囲に位置してよい。取付部52は、筐体50の、撮像光学系24とは反対側の面に位置してよい。
取付部52は、筐体50の任意の点を中心として、点対称とならないように位置してよい。このようにすることで、取付部52は、撮像面23における第1方向と移動面200との関係を特定しうる。撮像装置1は、第1方向が移動面200に交差するように、移動体100に搭載されうる。第1方向がプロセッサ10からの制御情報に基づいて変更されうる場合、取付部52によって撮像装置1の取付方向が特定されることによって、プロセッサ10は、第1方向と移動面200との関係を実際の取り付け状態に合わせて制御しうる。
撮像装置1は、筐体50に、撮像素子22の第1方向又は第2方向を表すマーク等を備えてよい。取付部52が筐体50の任意の点を中心として点対称でない場合、取付部52の位置が撮像素子22の第1方向又は第2方向を表すマークであるともいえる。撮像装置1が第1方向又は第2方向を表すマーク等を備えることによって、撮像装置1が移動体100に取り付けられる際にミスが起こりにくくなる。
図13に例示されるように、カメラ20a及び20bは、移動体100の左側及び右側にそれぞれ搭載されてよい。この場合、カメラ20aの取付部52と、カメラ20bの取付部52とは、それぞれ異なる位置関係を有してよい。このようにすることで、第2方向がそれぞれ異なるカメラ20は、移動体100に搭載される際、逆に取り付けられにくくなる。
本開示における移動体100は、車両及び船舶等を含んでよい。本開示における車両は、自動車および産業車両を含むが、これに限られず、鉄道車両及び生活車両、並びに滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両は、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。本開示における船舶は、マリンジェット、ボート、及びタンカーを含む。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部などに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部などを1つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
1 撮像装置
10 プロセッサ
12 記憶部
14 基板
20(20a、20b、20c) カメラ
22 撮像素子
23(23a、23b、23c) 撮像面
24 撮像光学系
26 画素セル
28 画素グループ
30 ディスプレイ
50 筐体
52 取付部
100 移動体
110 運転者
200 移動面
210(210a~210g) 被写体
212a、212b 被写体形状
10 プロセッサ
12 記憶部
14 基板
20(20a、20b、20c) カメラ
22 撮像素子
23(23a、23b、23c) 撮像面
24 撮像光学系
26 画素セル
28 画素グループ
30 ディスプレイ
50 筐体
52 取付部
100 移動体
110 運転者
200 移動面
210(210a~210g) 被写体
212a、212b 被写体形状
Claims (11)
- 移動面に沿って移動する移動体に搭載される、撮像光学系と、撮像素子とを備え、
前記撮像光学系は、前記移動体の周囲に位置する被写体を結像し、
前記撮像素子は、前記撮像光学系で結像された被写体像を撮像する画素が並ぶ撮像面を有し、
前記画素は、前記移動面に対して交差する第1方向に沿って並ぶ画素毎に画素グループに属し、
前記画素グループは、前記第1方向に交差する第2方向に並び、
前記撮像素子は、前記画素グループが前記第2方向に沿って並ぶ順番で、前記画素グループ毎に前記被写体像の撮像データを読み出す
撮像装置。 - 前記第1方向は、前記被写体像の移動方向に直交する、請求項1に記載の撮像装置。
- 前記移動体は、車両である、請求項1又は2に記載の撮像装置。
- 前記撮像光学系の、前記被写体の側に位置する少なくとも一部は、前記移動体の側面に位置する、請求項1乃至3のいずれか一項に記載の撮像装置。
- 前記撮像光学系は、前記移動体の右側面及び左側面それぞれに位置し、
前記移動体の右側面及び左側面それぞれに位置する撮像光学系に対応する撮像素子における前記第2方向は、互いに逆向きである、請求項4に記載の撮像装置。 - 前記撮像素子から撮像画像を取得するプロセッサをさらに備え、
前記プロセッサは、前記撮像画像に対して、前記第2方向に沿った拡大及び縮小の少なくとも一方を含む補正を実行する、請求項1乃至5のいずれか一項に記載の撮像装置。 - 前記プロセッサは、前記移動体の速度に基づいて、前記補正を実行する、請求項6に記載の撮像装置。
- 前記プロセッサは、前記撮像画像内における前記第2方向に沿った位置に基づいて、前記補正を実行する、請求項6又は7に記載の撮像装置。
- 前記移動体に取り付けるための取付部をさらに備え、
前記取付部によって、前記移動体に取り付けられる方向が特定される、請求項1乃至8のいずれか一項に記載の撮像装置。 - 前記移動体に取り付けられる方向を特定するマークをさらに備える、請求項1乃至9のいずれか一項に記載の撮像装置。
- 移動面に沿って移動し、
撮像光学系と、撮像素子とを備える撮像装置を搭載し、
前記撮像光学系は、周囲に位置する被写体を結像し、
前記撮像素子は、前記撮像光学系で結像された被写体像を撮像する画素が並ぶ撮像面を有し、
前記画素は、前記移動面に対して交差する第1方向に沿って並ぶ画素毎に画素グループに属し、
前記画素グループは、前記第1方向に交差する第2方向に並び、
前記撮像素子は、前記画素グループが前記第2方向に沿って並ぶ順番で、前記画素グループ毎に前記被写体像の撮像データを読み出す
移動体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880059386.XA CN111095908A (zh) | 2017-09-27 | 2018-09-20 | 成像装置和可移动体 |
US16/650,343 US20200296306A1 (en) | 2017-09-27 | 2018-09-20 | Imaging apparatus and moveable body |
EP18861750.0A EP3691242A4 (en) | 2017-09-27 | 2018-09-20 | IMAGE RECORDING DEVICE AND MOBILE BODY |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017187197A JP2019062479A (ja) | 2017-09-27 | 2017-09-27 | 撮像装置及び移動体 |
JP2017-187197 | 2017-09-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019065468A1 true WO2019065468A1 (ja) | 2019-04-04 |
Family
ID=65902408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/034894 WO2019065468A1 (ja) | 2017-09-27 | 2018-09-20 | 撮像装置及び移動体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200296306A1 (ja) |
EP (1) | EP3691242A4 (ja) |
JP (1) | JP2019062479A (ja) |
CN (1) | CN111095908A (ja) |
WO (1) | WO2019065468A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111885309A (zh) * | 2020-08-31 | 2020-11-03 | 深圳市圆周率软件科技有限责任公司 | 一种全景图像采集方法和全景相机 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002209173A (ja) | 2001-01-09 | 2002-07-26 | Digitalact:Kk | ドライブレコーダ及び該ドライブレコーダの機能を実現するための記録媒体 |
JP2009135713A (ja) * | 2007-11-29 | 2009-06-18 | Kyocera Corp | 撮像装置のブレで生じる画像歪みの補正方法及び装置 |
JP2011087203A (ja) * | 2009-10-19 | 2011-04-28 | Sanyo Electric Co Ltd | 撮像装置 |
JP2011217356A (ja) * | 2010-03-16 | 2011-10-27 | Fujifilm Corp | 固体電子撮像装置およびその動作制御方法 |
JP2012101594A (ja) * | 2010-11-08 | 2012-05-31 | Alpine Marketing Kk | 車両用カメラ取付けブラケット |
JP2013066247A (ja) * | 2008-02-08 | 2013-04-11 | Google Inc | タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ |
JP2013150153A (ja) * | 2012-01-19 | 2013-08-01 | Clarion Co Ltd | 車載撮像装置 |
JP2014085920A (ja) * | 2012-10-25 | 2014-05-12 | Honda Motor Co Ltd | 車両周辺監視装置 |
WO2016190437A1 (ja) * | 2015-05-28 | 2016-12-01 | 株式会社ジャパンディスプレイ | 撮像表示システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002300441A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 固体撮像素子の取り付け構造 |
JP2006033254A (ja) * | 2004-07-14 | 2006-02-02 | Shinko Electric Ind Co Ltd | 撮像装置及びその組み立て方法 |
JP4531484B2 (ja) * | 2004-08-16 | 2010-08-25 | パナソニック株式会社 | カメラシステム |
JP2007020045A (ja) * | 2005-07-11 | 2007-01-25 | Sanyo Electric Co Ltd | 電子カメラ |
CN101292513B (zh) * | 2005-10-21 | 2012-04-11 | 诺基亚公司 | 用于在数字成像中降低运动失真的方法和设备 |
JP2014093630A (ja) * | 2012-11-02 | 2014-05-19 | Nippon Hoso Kyokai <Nhk> | 撮像処理装置 |
DE102013220477B4 (de) * | 2013-10-10 | 2021-07-01 | Application Solutions (Electronics and Vision) Ltd. | Verfahren und Vorrichtung zur Korrektur einer bildlichen Darstellung einer Fahrzeugumgebung |
DE102014220585A1 (de) * | 2014-10-10 | 2016-04-14 | Conti Temic Microelectronic Gmbh | Stereokamera für Fahrzeuge |
-
2017
- 2017-09-27 JP JP2017187197A patent/JP2019062479A/ja active Pending
-
2018
- 2018-09-20 WO PCT/JP2018/034894 patent/WO2019065468A1/ja unknown
- 2018-09-20 CN CN201880059386.XA patent/CN111095908A/zh active Pending
- 2018-09-20 EP EP18861750.0A patent/EP3691242A4/en not_active Withdrawn
- 2018-09-20 US US16/650,343 patent/US20200296306A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002209173A (ja) | 2001-01-09 | 2002-07-26 | Digitalact:Kk | ドライブレコーダ及び該ドライブレコーダの機能を実現するための記録媒体 |
JP2009135713A (ja) * | 2007-11-29 | 2009-06-18 | Kyocera Corp | 撮像装置のブレで生じる画像歪みの補正方法及び装置 |
JP2013066247A (ja) * | 2008-02-08 | 2013-04-11 | Google Inc | タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ |
JP2011087203A (ja) * | 2009-10-19 | 2011-04-28 | Sanyo Electric Co Ltd | 撮像装置 |
JP2011217356A (ja) * | 2010-03-16 | 2011-10-27 | Fujifilm Corp | 固体電子撮像装置およびその動作制御方法 |
JP2012101594A (ja) * | 2010-11-08 | 2012-05-31 | Alpine Marketing Kk | 車両用カメラ取付けブラケット |
JP2013150153A (ja) * | 2012-01-19 | 2013-08-01 | Clarion Co Ltd | 車載撮像装置 |
JP2014085920A (ja) * | 2012-10-25 | 2014-05-12 | Honda Motor Co Ltd | 車両周辺監視装置 |
WO2016190437A1 (ja) * | 2015-05-28 | 2016-12-01 | 株式会社ジャパンディスプレイ | 撮像表示システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3691242A4 |
Also Published As
Publication number | Publication date |
---|---|
CN111095908A (zh) | 2020-05-01 |
EP3691242A1 (en) | 2020-08-05 |
JP2019062479A (ja) | 2019-04-18 |
US20200296306A1 (en) | 2020-09-17 |
EP3691242A4 (en) | 2021-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110178369B (zh) | 摄像装置、摄像系统以及显示系统 | |
US9998675B2 (en) | Rearview imaging system for vehicle | |
WO2018030319A1 (ja) | 測距システム、および、移動体システム | |
JP6644071B2 (ja) | ドライバー・アシスタント・システム | |
JP7436391B2 (ja) | 車載カメラ、及び車載カメラシステム | |
JP6653456B1 (ja) | 撮像装置 | |
JP7467402B2 (ja) | 画像処理システム、移動装置、画像処理方法、およびコンピュータプログラム | |
JP2024063155A (ja) | 移動体、画像処理方法、およびコンピュータプログラム | |
EP3703359A1 (en) | Image processing device, image capturing device, driving support device, moving body, and image processing method | |
US20240114253A1 (en) | Movable apparatus and installation method for imaging device | |
WO2019065468A1 (ja) | 撮像装置及び移動体 | |
US20230096414A1 (en) | Camera unit installing method, moving device, image processing system, image processing method, and storage medium | |
US20230098424A1 (en) | Image processing system, mobile object, image processing method, and storage medium | |
US20230100099A1 (en) | Image processing system, image processing method, and storage medium | |
JP2023007676A (ja) | 撮像装置及び撮像システム | |
WO2018155280A1 (ja) | 周辺監視システム | |
US20230394845A1 (en) | Movable apparatus, control method for movable apparatus, and storage medium | |
EP4380178A1 (en) | Image processing system, image processing method, and storage medium | |
JP2023077492A (ja) | カメラシステム、移動体、制御方法、及びコンピュータプログラム | |
JP2024050334A (ja) | 移動体及び撮像装置の設置方法 | |
JP2023154265A (ja) | 画像処理装置、移動体、画像処理方法、及びコンピュータプログラム | |
CN118665346A (zh) | 可移动设备、图像处理设备、存储介质和摄像设备的安装方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18861750 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018861750 Country of ref document: EP Effective date: 20200428 |