WO2020090512A1 - 撮影装置、制御方法、及び、プログラム - Google Patents

撮影装置、制御方法、及び、プログラム Download PDF

Info

Publication number
WO2020090512A1
WO2020090512A1 PCT/JP2019/041037 JP2019041037W WO2020090512A1 WO 2020090512 A1 WO2020090512 A1 WO 2020090512A1 JP 2019041037 W JP2019041037 W JP 2019041037W WO 2020090512 A1 WO2020090512 A1 WO 2020090512A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
information
read
unit
Prior art date
Application number
PCT/JP2019/041037
Other languages
English (en)
French (fr)
Inventor
山中　剛
泰宏 湯川
卓也 山口
Original Assignee
ソニー株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニー株式会社
Priority to CN201980070029.8A priority Critical patent/CN112956183B/zh
Priority to EP19879266.5A priority patent/EP3876515A4/en
Priority to US17/288,432 priority patent/US20210400209A1/en
Priority to JP2020553781A priority patent/JP7342024B2/ja
Priority to KR1020217010721A priority patent/KR20210083256A/ko
Publication of WO2020090512A1 publication Critical patent/WO2020090512A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data

Definitions

  • the present technology has been made in view of such a situation, and makes it possible to easily provide an image suitable for driving a vehicle.
  • the vehicle information includes, for example, gyro information obtained from a gyro that the vehicle 10 has, suspension information regarding a suspension of the vehicle 10, a front camera image obtained from a front camera capturing a front of the vehicle 10, and a GPS (Global). Positioning System), GPS information obtained from (positioning system), running information indicating running conditions such as the vehicle speed and running direction (forward or backward) of the vehicle 10, and the line of sight and head of the driver of the vehicle 10 obtained from the image captured by the in-vehicle camera 23.
  • GPS Global
  • GPS Global
  • running information indicating running conditions such as the vehicle speed and running direction (forward or backward) of the vehicle 10
  • the line of sight and head of the driver of the vehicle 10 obtained from the image captured by the in-vehicle camera 23.
  • the control unit 43 controls the reading of the read image from the image sensor 32 based on the vehicle information.
  • control unit 43 controls the reading of the read image from the image sensor 32 according to the tilt information detected by the detection unit 42 from the vehicle information.
  • control unit 43 calculates the read start position of the image to be read as the read image from the captured image captured by the image sensor 32 according to the tilt information supplied from the detection unit 42, and reads the image.
  • the read control for controlling the read of the read image from the image sensor 32 is performed. To do.
  • the control unit 43 in the read-out control, a predetermined region in which the rear portion of the vehicle 10 is seen immediately after the rear portion of the vehicle 10 (if an interior rearview mirror is installed in the vehicle 10, an area observed by the interior rearview mirror).
  • Readout of pixel signals from the image sensor 32 is controlled so that R11 is extracted as a BM image. That is, the reading of the pixel signal from the image sensor 32 is controlled according to the display device and the type (/ application) of the image display function.
  • control unit 43 supplies the read position of the read image to the image sensor 32, so that the rear portion of the vehicle 10 and the portion immediately after the captured image (the image within the image circle) are read.
  • the reading of the pixel signal from the image sensor 32 is controlled so that the predetermined area R12 in which the image is captured is extracted as an RV image.
  • the control unit 43 specifies the read position that specifies the region R11 to be extracted as the BM image according to the driver's line of sight and the position of the head included in the vehicle information. Can be calculated.
  • the control unit 43 controls the BM image as a read-out image so that the driver can see the BM image showing the same range as the image that can be observed when the rearview mirror is installed in the vehicle 10.
  • the read position that specifies the region R11 to be extracted as the BM image can be calculated according to the driver's line of sight and the position of the head.
  • a rear vehicle that is behind the vehicle 10 by a predetermined distance from the vehicle 10 appears in the center of the screen of the BM image.
  • a BM image of a rear vehicle that is behind the vehicle 10 by a predetermined distance can be obtained at the bottom of the screen.
  • the ratio of the sky is larger and the ratio of the road is smaller than that of the BM image in which the vehicle 10 is located on a flat road surface. It becomes an image.
  • the control unit 43 controls the reading of the BM image as the read image from the image sensor 32 in accordance with the tilt information from the detection unit 42, thereby irrespective of the state of the vehicle 10. Instead, the BM image having the same information amount as the BM image when the vehicle 10 is located on a flat road surface is obtained.
  • the read image showing the road and sky is read at the same ratio as the BM image when the vehicle 10 is located on a flat road surface, that is, the read image is read.
  • the read-out position is calculated so that the ratio of the road and the sky reflected in the image is maintained (to approach) the same ratio as the BM image when the vehicle 10 is located on a flat road surface.
  • FIG. 7 is a diagram showing a configuration example of the image sensor 32 of FIG.
  • the image sensor 32 includes a pixel array 51, an input circuit 52, a row selection circuit 53, a column selection circuit 54, an AD (Analog to Digital) converter 55, a line buffer 56, and an output circuit 57.
  • AD Analog to Digital
  • the control unit 43 supplies the input circuit 52 with a read start position of a read image to be read from a captured image and a read position designated by the size of the read image (hereinafter, also referred to as a read size).
  • the input circuit 52 supplies the y coordinate Y_STA of the read start coordinate (X_STA, Y_STA) and the y coordinate Y_END of the read end coordinate (X_END, Y_END) to the row selection circuit 53, and also reads the read start coordinate (X_STA, Y_STA).
  • the x coordinate X_STA of) and the x coordinate X_END of the read end coordinate (X_END, Y_END) are supplied to the column selection circuit 54 (process PR1).
  • pixel signals are read from the pixels 61 in the row selected by the row selection circuit 53 and supplied to the column selection circuit 54.
  • the AD converter 55 AD-converts the pixel signal from the column selection circuit 54 on a row-by-row basis, and supplies the pixel signal after AD conversion to the line buffer 56 (process PR4).
  • the pixel 61 at the read start coordinate (X_STA, Y_STA) is the upper left apex
  • the pixel 61 at the read end coordinate (X_END, Y_END) is the lower right apex.
  • a pixel signal of the pixel 61 in the read area is read out using the rectangular area as the read area, and an image having the pixel signal as the pixel value is output as the read image.
  • FIG. 8 is a flowchart illustrating an example of a display process for displaying a BM image performed by the first configuration example of the viewing system in FIG.
  • step S11 the acquisition unit 41 acquires, for example, gyro information or GPS information and a 3D map as vehicle information, supplies the gyro information to the detection unit 42, and the process proceeds to step S12.
  • step S15 the output unit 33 transmits the image read from the image sensor 32 as a BM image to the BM display unit 21 for display.
  • the BM image is displayed on the BM display unit 21, and the display process ends.
  • vehicle information of the first configuration example gyro information, GPS information and 3D map are explained.
  • suspension information, a front camera image, or the like may be used as in the second configuration example and the third configuration example described later.
  • the inclination of the vehicle may be detected using the suspension information, the front camera image, and the like.
  • the viewing system has a camera unit 11, a BM display unit 21, and an RV display unit 22. Further, in FIG. 9, the camera unit 11 includes an optical system 31, an image sensor 32, an output unit 33, an acquisition unit 41, a detection unit 42, a control unit 71, and a processing unit 72.
  • the second configuration example of the viewing system of FIG. 9 is common to the case of FIG. 3 in that it has the camera unit 11, the BM display unit 21, and the RV display unit 22.
  • control unit 71 controls the reading of the read image from the image sensor 32 according to the tilt information supplied from the detection unit 42.
  • control unit 71 calculates the read start position and the read size of the read image from the captured image captured by the image sensor 32 according to the tilt information supplied from the detection unit 42, and the read start position. And a read position designated by the read size is supplied to the image sensor 32.
  • the read size is set to the size of the BM image, but the second configuration of the viewing system.
  • the read size is calculated according to the tilt information.
  • the read image output by the image sensor 32 is supplied to the processing unit 72.
  • the read image is rotated, and the BM size image is cut out from the rotated read image. Therefore, the read image needs to be an image having a size capable of cutting out a BM size image from the rotated read image.
  • control unit 71 calculates, as the read size, the minimum size of the read image that can cut out a BM size image from the rotated read image, for example, according to the tilt information.
  • FIG. 10 (C1) is a diagram showing a state of the vehicle 10 when the vehicle 10 is located on a road surface having a step higher on the left side than on the right side with respect to the front direction.
  • FIG. 10C2 is an example of a BM image when the vehicle 10 is located on a road surface having a step higher on the left side than on the right side with respect to the front direction.
  • the vehicle 10 when the vehicle 10 is located on a road surface that has a step higher on the right side than the left side with respect to the front direction, the vehicle 10 leans to the left side as the roll direction, and the camera unit 11 installed at the rear part of the vehicle 10 also does the same. Tilt to the roll direction.
  • the contents change compared with the BM image when the vehicle 10 is located on a flat road surface.
  • the BM image when the vehicle 10 is located on the road surface having a high step on the left side or the right side is changed from the BM image when the vehicle 10 is located on the flat road surface. It is not preferable from the viewpoint of providing the driver of the vehicle 10 with a BM image suitable for driving the vehicle 10.
  • the control unit 71 controls the reading of the BM image as the read image from the image sensor 32 in accordance with the tilt information from the detection unit 42, regardless of the state of the vehicle 10. Instead, the BM image having the same information amount as the BM image when the vehicle 10 is located on a flat road surface is obtained.
  • FIG. 11 is a diagram illustrating an example of read control of a read image according to tilt information by the control unit 71.
  • FIG. 11A on the left side is a diagram showing the read area on the image sensor 32 in each case.
  • FIG. 11B on the right side is a diagram showing a cutout region in the processing section 72.
  • the image captured by the image sensor 32 matches the BM image. It is assumed that the read control is performed so that (a pixel signal of a pixel of) the rectangular region R101 of the size is read.
  • the region R111 centered on the center (center of gravity) of the region R101 with the minimum size that can cut out the BM image from the rotated read image is used.
  • the read start position as the designated read position and the read size are calculated and supplied to the image sensor 32.
  • the vehicle 10 is tilted to the right as the roll direction, and the horizontal line shown in the read image is tilted to the right. Therefore, in the processing unit 72, the region R111 as the read image is rotated clockwise (clockwise) so that the horizontal line inclined upward to the right extends in the horizontal direction, and the region R112 after the rotation is rotated to the region as the BM image. R113 is cut out.
  • the control unit 71 also calculates the rotation angle for rotating the region R111 as the read image according to the tilt information from the detection unit 42, and supplies the rotation angle to the processing unit 72.
  • the image sensor 32 reads and outputs the region R111 represented by the read position (read start position and read size) from the control unit 71 as a read image.
  • the region R111 as the read image output by the image sensor 32 is supplied to the processing unit 72.
  • the region R111 is rotated by the rotation angle from the control unit 71, thereby generating a region R112 in which a horizontal line appears to extend in the horizontal direction (FIG. 12 (B)). Further, in the processing unit 72, a region R113 having the same size as the region R101 is cut out as a BM image from the region R112 (FIGS. 12B and 12C).
  • FIG. 13 is a flowchart illustrating an example of display processing for displaying a BM image performed by the second configuration example of the viewing system in FIG. 9.
  • step S21 the acquisition unit 41 acquires, for example, suspension information as vehicle information, supplies the suspension information to the detection unit 42, and the process proceeds to step S22.
  • step S22 the detection unit 42 uses the vehicle information from the acquisition unit 41 to detect the inclination of the vehicle 10 in the roll direction. Further, the detection unit 42 uses the vehicle information from the acquisition unit 41 to represent the tilt information of the vehicle 10 when the vehicle 10 is tilted in the roll direction (mainly, the tilt to the left and right as the roll direction). The tilt information) is detected (calculated) and supplied to the control unit 71, and the process proceeds from step S22 to step S23.
  • step S24 the image sensor 32 reads the pixel signal of the pixel at the read position from the control unit 71, acquires the read image having the pixel signal as the pixel value, and outputs the read image.
  • the read image output by the image sensor 32 is supplied to the processing unit 72, and the process proceeds from step S24 to step S25.
  • step S25 the processing unit 72 rotates the read image from the image sensor 32 by the rotation angle from the control unit 71. Further, the processing unit 72 cuts out the BM image from the rotated read image and supplies the BM image to the output unit 33, and the process proceeds from step S25 to step S26.
  • step S26 the output unit 33 transmits the BM image from the processing unit 72 to the BM display unit 21 for display. As a result, the BM image is displayed on the BM display unit 21, and the display process ends.
  • the second configuration example of the viewing system mainly detects the tilt information indicating the tilt to the left and right as the roll direction, and the image read from the image sensor 32 according to the tilt information. Control the reading of. Further, in the second configuration example of the viewing system, the rotation of the read image is controlled according to the tilt information, and the BM image is cut out from the read image after rotation. Therefore, according to the second configuration example of the viewing system, it is possible to easily provide an image suitable for driving the vehicle 10. That is, when the vehicle 10 is located on a road surface having a step on the left and right, it is possible to easily provide a BM image having the same amount of information as the BM image when the vehicle 10 is located on a flat road surface. it can.
  • the example of suspension information As the vehicle information of the second configuration example, the example of suspension information was explained. However, as the vehicle information, gyro information, GPS information and a 3D map, a front camera image, or the like may be used as in the first configuration example described above and the third configuration example described later. Then, the inclination of the vehicle may be detected using these gyro information, GPS information, 3D map, front camera image, and the like.
  • FIG. 14 is a block diagram showing a third configuration example of the viewing system mounted on the vehicle 10.
  • FIG. 14 it has a camera unit 11, a BM display section 21, and an RV display section 22. Further, in FIG. 14, the camera unit 11 includes an optical system 31, an image sensor 32, an output unit 33, an acquisition unit 41, a detection unit 42, a control unit 71, and a processing unit 72.
  • the third configuration example of the viewing system in FIG. 14 has the same configuration as the second configuration example in the viewing system in FIG. 9.
  • the acquisition unit 41 acquires, for example, suspension information or a front camera image as vehicle information and supplies it to the detection unit 42.
  • the detection unit 42 uses the suspension information or the front camera image from the acquisition unit 41 to detect the unevenness condition of the road surface. Further, the detection unit 42 detects the inclination to the front side and the rear side in the pitch direction of the vehicle 10 due to the unevenness of the road surface, and the inclination to the left side and the right side as the roll direction, and determines the inclination (the degree thereof). The inclination information that is represented is detected (calculated). Then, the detection unit 42 supplies the tilt information to the control unit 71.
  • the reading of the read image from the image sensor 32 is controlled according to the inclination of the front side and the rear side in the pitch direction of the vehicle 10.
  • the read image is read from the image sensor 32 and the read image is rotated by the processing unit 72 according to the inclination of the vehicle 19 to the left and right as the roll direction. Controlled.
  • the image sensor 32 is operated in accordance with the inclination of the vehicle 10 on the front side and the rear side in the pitch direction and the inclination of the vehicle 10 to the left side and the right side in the roll direction.
  • the read-out of the read-out image and the rotation of the read-out image in the processing unit 72 are controlled.
  • the read image readout control from the image sensor 32 As the read image readout control from the image sensor 32, the readout from the image sensor 32 performed in the first configuration example and the second configuration example of the viewing system is performed.
  • the control is performed such that the control of reading the image is combined.
  • the same control as the rotation control of the read image performed in the second configuration example of the viewing system is performed as the control of the rotation of the read image in the processing unit 72. ..
  • FIG. 15 is a diagram illustrating an example of read control of a read image according to tilt information by the control unit 71.
  • FIG. 15A is a diagram showing reading of a read image of a size larger than the BM image from the image sensor 32.
  • FIG. 15B is a diagram showing rotation and cutout of the read image in the processing unit 72.
  • the read image is obtained from the captured image (the light receiving surface of the image sensor 32) captured by the image sensor 32. It is assumed that the read control is performed so that the rectangular area R101 (pixel signal of the pixel of the rectangular area) having the size matching the BM image as described above is read.
  • the control unit 71 determines the tilt angle of the vehicle 10 in the roll direction according to the tilt information.
  • a read position for designating a region R121 that is larger than the region R111 by a number corresponding to the number of pixels and is vertically shifted from the region R111 by a number corresponding to the angle of inclination of the vehicle 10 in the pitch direction is calculated and read out.
  • the reading control of the image sensor 32 is performed so that the pixel signal of the position is read.
  • control unit 71 rotates the region R121 as the read image in accordance with the tilt information so that, for example, the horizontal line appearing in the region R121 as the read image output by the image sensor 32 extends in the horizontal direction.
  • the rotation angle is calculated and supplied to the processing unit 72.
  • the processing unit 72 the area R121 as the read image from the image sensor 32 is rotated by the rotation angle from the control unit 71. Then, in the processing unit 72, a region R123 having a rotation angle of 0 degree and the same size as the BM image is cut out as a BM image from the region R122 after the rotation of the region R121.
  • the vehicle 10 leans rearward as the pitch direction and leans rightward as the roll direction. Therefore, the vehicle 10 is displaced from the image sensor 32 upward from the region R101, which is larger in size than the region R101.
  • the region R121 is read as a read image. Further, since the vehicle 10 leans to the right as the roll direction, the horizon appearing in the region R121 as the read image leans to the right. Therefore, in the processing unit 72, the horizon tilted to the right rises in the horizontal direction.
  • the region R121 as the read image is rotated clockwise so as to extend. Then, in the processing unit 72, a region R123 as a BM image is cut out from the rotated region R122 obtained by rotating the region R121.
  • the detection unit 42 can detect the pitch direction and roll direction inclination of the vehicle 10 from the suspension information, for example.
  • the detection unit 42 recognizes, for example, the unevenness of the road surface in front of the vehicle 10 from the front camera image, and the vehicle 10 when the vehicle 10 passes through the recognized uneven road surface according to the recognition result of the unevenness. Can be detected by estimating the inclinations in the pitch direction and the roll direction.
  • step S33 the control unit 71 calculates the read start position and read size of the read image from the image sensor 32 according to the tilt information from the detection unit 42, and sets the read start position and read size as the read position. , To the image sensor 32. Further, the control unit 71 calculates a rotation angle for rotating the read image according to the tilt information from the detection unit 42, supplies the rotation angle to the processing unit 72, and the process proceeds from step S33 to step S34.
  • step S34 the image sensor 32 reads the pixel signal of the pixel at the read position from the control unit 71, acquires the read image having the pixel signal as the pixel value, and outputs the read image.
  • the read image output by the image sensor 32 is supplied to the processing unit 72, and the process proceeds from step S34 to step S35.
  • step S35 the processing unit 72 rotates the read image from the image sensor 32 by the rotation angle from the control unit 71. Further, the processing unit 72 cuts out the BM image from the read image after rotation and supplies the BM image to the output unit 33, and the process proceeds from step S35 to step S36.
  • step S36 the output unit 33 transmits the BM image from the processing unit 72 to the BM display unit 21 for display. As a result, the BM image is displayed on the BM display unit 21, and the display process ends.
  • the inclination information indicating the inclination to the front side and the rear side as the pitch direction and the inclination to the left side and the right side as the roll direction are detected, and the inclination information is detected.
  • the readout of the readout image from the image sensor 32 is controlled according to the information.
  • the rotation of the read image is controlled according to the tilt information, and the BM image is cut out from the read image after the rotation. Therefore, according to the third configuration example of the viewing system, it is possible to easily provide an image suitable for driving the vehicle 10. That is, when the vehicle 10 is located on an uneven road surface, it is possible to easily provide a BM image having the same amount of information as the BM image when the vehicle 10 is located on a flat road surface.
  • the readout image of the minimum size that can cut out the BM image from the readout image after rotation is displayed.
  • the image sensor 32 By reading from the image sensor 32, it is possible to prevent the frame rate of the BM image from decreasing.
  • the suspension information and the front camera image have been described as examples.
  • the vehicle information the gyro information, the GPS information and the 3D map, etc. may be used as in the first configuration example and the second configuration example described above. Then, the inclination of the vehicle may be detected using these gyro information, GPS information, 3D map and the like.
  • the present technology is applied not only when the vehicle 10 leans depending on the condition of the road surface on which the vehicle 10 is located, but also when the vehicle 10 leans due to luggage loaded on the vehicle 10, the state of the occupants of the vehicle 10, and the like. can do. That is, the present technology can be applied regardless of the cause of the vehicle 10 leaning.
  • the camera unit 11 has an optical system 31, an image sensor 32, a data amount adjustment unit 133, an output unit 134, an acquisition unit 135, and a control unit 136.
  • the output unit 134 is an output IF (Interface) that transmits the BM image and the RV image from the data amount adjustment unit 133 to the outside of the camera unit 11, and transmits the BM image to the BM display unit 21 and the RV image. Is transmitted to the RV display unit 22.
  • the BM display unit 21 displays the BM image from the output unit 134 according to the specifications of the BM display unit 21, and the RV display unit 22 displays the RV image from the output unit 134 according to the specifications of the RV display unit 22. ..
  • the output unit 134 can perform format conversion of the BM image and the RV image and other image processing as necessary.
  • the traveling information is information indicating the traveling state of the vehicle 10, and specifically, the vehicle speed and the traveling direction (forward or backward).
  • the vehicle speed can be acquired from the output of the speed sensor, for example, when the vehicle 10 has a speed sensor.
  • the traveling direction can be acquired from the state of the transmission, for example.
  • the specifications of the BM display unit 21 and the RV display unit 22 are, for example, the resolution of the BM display unit 21 and the RV display unit 22, and can be acquired from the BM display unit 21 and the RV display unit 22.
  • the line of sight and the position of the head of the driver of the vehicle 10 can be obtained from the image taken by the in-vehicle camera 23.
  • the gyro information is information indicating the attitude of the vehicle 10 (/ the angle of inclination of the vehicle). If the vehicle 10 is equipped with a gyro sensor, the gyro information can be obtained from the output of the gyro sensor. According to the gyro information, it is possible to recognize whether or not the vehicle 10 is located on a slope.
  • the control unit 136 controls the image sensor 32 and the data amount adjustment unit 133 according to the vehicle information supplied from the acquisition unit 135.
  • control unit 136 performs the extraction control for controlling the extraction of the BM image and the RV image from the captured image by the image sensor 32 by performing the same read control as the control unit 43 according to the vehicle information, for example.
  • An example of the read range of the BM image and the RV image is the range shown in FIG.
  • control unit 136 performs adjustment control for controlling the adjustment of the data amount of the BM image and the RV image in the data amount adjustment unit 133 according to the vehicle information.
  • the image sensor 32 extracts the BM image and the RV image from the captured image according to the vehicle information, and the data amount adjustment unit 133 adjusts the data amount of the BM image and the RV image according to the vehicle information. Can be said.
  • FIG. 18 is a diagram illustrating an example of an image that can be output from the image sensor 32.
  • the highest resolution captured image that the image sensor 32 can output is referred to as the highest resolution image.
  • the image sensor 32 is assumed to have a performance capable of outputting the highest resolution image having a resolution (number of pixels) Rmax at (frame rate of) 60 fps (frame per second) or more, for example.
  • the resolution RBM of the highest resolution (number of pixels) BM image extracted from the highest resolution image is 1/2 or less of the resolution Rmax of the highest resolution image.
  • the resolution RRV of the highest resolution RV image extracted from the highest resolution image is less than or equal to the resolution RBM of the BM image.
  • the sum RBM + RRV of the resolution RBM of the BM image and the resolution RRV of the RV image is 1/2 or less of the resolution Rmax of the highest resolution image.
  • the image sensor 32 capable of outputting the highest resolution image of 60 fps (or more) at the resolution Rmax is used, the BM image of the resolution RBM and the RV image of the resolution RRV obtained by partially reading out the highest resolution image. Both images can be output at 120fps.
  • FIG. 19 is a diagram illustrating an example of a vehicle transmission band that can be used for data transmission in the vehicle 10.
  • FIG. 19 shows an example of the BM image and the RV image that the camera unit 11 can output without adjusting the data amount in the data amount adjusting unit 133.
  • the camera unit 11 can output, as a BM image, for example, a color image having a resolution of RBM, a YUV of 4: 2: 2 format, and a bit number of 1 pixel (for each of luminance and color difference) of 8 bits. ..
  • the camera unit 11 can output, as an RV image, for example, a color image in which the resolution is RRV and the YUV is in a 4: 2: 2 format and the number of bits of one pixel is 8 bits.
  • a BM image with a resolution of RBM and a YUV of 4: 2: 2 format and a pixel number of 8 bits is called the highest quality BM image, and a resolution of RRV and a YUV of a 4: 2: 2 format of 1
  • An RV image with 8-bit pixels is called the highest quality RV image.
  • the camera unit 11 can output both the highest quality BM image and RV image at a maximum of 120 fps.
  • the camera unit 11 in order to suppress the cost increase of the viewing system, the camera unit 11 appropriately adjusts the data amount of the BM image or the RV image and transmits the BM image or the RV image within the vehicle transmission band. To do.
  • 20A shows the adjustment control when the vehicle 10 is moving forward or when moving backward at a high speed that is equal to or higher than the first speed threshold value.
  • control unit 136 performs adjustment control as control of the data amount adjustment unit 133 so that the BM image of 120 fps is output at the resolution RBM and the output of the RV image is limited.
  • the data amount adjusting unit 133 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 136, outputs the BM image of 120 fps at the resolution RBM, and outputs the RV image. Restrict.
  • the camera unit 11 outputs the BM image of 120 fps with the resolution RBM and does not output the RV image.
  • the BM display unit 21 displays the BM image of 120 fps at the resolution RBM, and the RV display unit 22 does not display the RV image.
  • RV image including the image immediately after the rear part of the vehicle 10 is not displayed when the vehicle 10 is moving forward or moving backward at a high speed.
  • the BM image of 120 fps can be transmitted in the vehicle transmission band capable of transmitting the BM image of the highest image quality (resolution RBM) of 60 fps for two screens.
  • the data amount adjusting method for adjusting the data amount of the image in the data amount adjusting unit 133 in addition to the method of limiting the output of the image (not outputting the image), for example, the resolution (pixel Number), a method of reducing the gradation (the number of bits of one pixel), a method of reducing the frame rate, a method of compressing by a predetermined compression encoding method, and the like.
  • limiting the output of the image, reducing the resolution, reducing the gradation, and reducing the frame rate are performed by the data amount adjusting unit 133, and in the control unit 136, By performing control such as extraction control of the image sensor 32, the image sensor 32 can be controlled.
  • the control unit 136 controls the reading of data from the image sensor 32 so as to limit the extraction of the RV image from the captured image. This can be performed by not reading out the pixel signal which becomes the RV image from 51 (FIG. 7).
  • the control unit 136 controls the extraction of the image sensor 32 so as to limit the extraction of the RV image from the captured image according to the vehicle information when the vehicle 10 is moving forward or moving backward at high speed. It can be performed.
  • the output of the RV image may be limited by the data amount adjusting unit 133 without being limited by the image sensor 32.
  • control unit 136 for example, by thinning out the pixels 51 from which pixel signals are read, or by so-called SF (Source follower) addition or FD (Floating Diffusion) addition, etc. This can be performed by controlling the image sensor 32 so as to perform binning for adding the pixel signals of.
  • SF Source follower
  • FD Floating Diffusion
  • FIG. 20 shows the adjustment control when the vehicle 10 is moving in reverse at a medium speed, which is a speed that is equal to or higher than the second threshold value that is smaller than the first threshold value and is lower than the first threshold value.
  • the control unit 136 outputs the BM image of 120 fps with the resolution RBMM less than the resolution RBM, and the RV image of 30 fps with the resolution RRVM less than the resolution RRV, and the data amount adjustment unit 133. Adjustment control is performed as the control of.
  • the data amount adjustment unit 133 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 136, outputs the BM image of 120 fps with the resolution RBMM, and 30 fps with the resolution RRVM. Output the RV image.
  • the camera unit 11 outputs a BM image of 120 fps with a resolution of RBMM and an RV image of 30 fps with a resolution of RRVM.
  • the BM display unit 21 displays a 120 fps BM image with a resolution RBMM
  • the RV display unit 22 displays a 30 fps RV image with a resolution RRVM.
  • the driver uses the BM image of 120 fps with the resolution RBMM, that is, the BM image of the medium resolution and the high frame rate, and You can check the back from immediately after. Further, the driver can confirm the area immediately behind the rear part of the vehicle 10 with the RV image of 30 fps at the resolution RRVM, that is, the RV image of the medium resolution and the low frame rate.
  • the transmission band required to transmit an RV image of 30 fps is the maximum transmission rate (here, the transmission rate required when transmitting a BM image of the resolution RBM at 120 fps without compression) and the resolution RBMM. Is less than or equal to the transmission band of the difference in transmission rate (first transmission rate) required when transmitting at 120 fps.
  • both the BM image of 120 fps with the resolution RBMM output by the camera unit 11 and the RV image of 30 fps with the resolution RRVM can transmit the BM image with the highest image quality of 60 fps for two screens. Can be transmitted by the available vehicle transmission band.
  • the data amount adjusting unit 133 causes the BM image and the RV image to be transmitted. Make sure that one or both of the images have a resolution of RRVM and the transmission bandwidth required to transmit a 30 fps RV image is less than or equal to the transmission bandwidth of the difference between the maximum transmission rate and the first transmission rate. It can be compressed (encoded) so that it can be transmitted. For example, the data amount can be reduced by compressing (coding) a part or all of a BM image with a resolution of RBMM and 120 fps. With respect to an RV image with a resolution of RRVM and 30 fps, the data amount can be reduced by converting the color image as it is or by converting it into a monochrome image and compression-encoding it.
  • FIG. 20 shows the adjustment control when the vehicle 10 is moving backward at a low speed that is less than the first threshold and less than the second threshold.
  • the control unit 136 performs adjustment control as the control of the data amount adjustment unit 133 so that the BM image of 60 fps is output at the resolution RBM and the RV image of 60 fps is output at the resolution RRV. ..
  • the data amount adjustment unit 133 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 136, outputs the BM image of 60 fps at the resolution RBM, and the 60 fps at the resolution RRV. Output the RV image.
  • the camera unit 11 outputs a 60 fps BM image with a resolution RBM and a 60 fps RV image with a resolution RRV.
  • the BM display unit 21 displays a 60 fps BM image with a resolution RBM
  • the RV display unit 22 displays a 60 fps RV image with a resolution RRV.
  • the driver immediately after the rear portion of the vehicle 10 by using the BM image of 60 fps at the resolution RBM, that is, the BM image of the high resolution and the medium frame rate. You can see more behind you. Further, the driver can confirm the area immediately behind the rear portion of the vehicle 10 by the RV image of 60 fps with the resolution RRV, that is, the RV image of the high resolution and the medium frame rate.
  • Both the BM image of 60 fps with the resolution RBM output by the camera unit 11 and the RV image of 60 fps with the resolution RRV can transmit the BM image of the highest image quality of 60 fps for two screens. It can be transmitted by the vehicle transmission band.
  • FIG. 21 is a diagram illustrating a second example of the control control of the data amounts of the BM image and the RV image by the control unit 136.
  • the BM image of the highest image quality (resolution RBM) whose vehicle transmission band is, for example, 60 fps (or more) is transmitted for one screen. It is assumed that the transmission band is such that
  • 21A shows the adjustment control when the vehicle 10 is moving forward, or when the vehicle 10 is moving backward at a high speed equal to or higher than the first threshold value of speed.
  • control unit 136 performs the adjustment control as the control of the data amount adjustment unit 133 so that the BM image of 60 fps (or higher) is output at the resolution RBM and the output of the RV image is limited.
  • the data amount adjustment unit 133 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 136, outputs the BM image of 60 fps at the resolution RBM, and outputs the RV image. Restrict.
  • the camera unit 11 outputs the BM image of 60 fps with the resolution RBM, and does not output the RV image.
  • the BM display unit 21 displays the BM image of 60 fps at the resolution RBM, and the RV display unit 22 does not display the RV image.
  • the driver uses the BM image of 60 fps at the resolution RBM, that is, the BM image of the high resolution and the medium frame rate.
  • the rear part can be confirmed immediately after the rear part of the vehicle 10.
  • the RV image including the image immediately after the rear portion of the vehicle 10 is not displayed, as described in A of FIG.
  • the BM image of 60 fps can be transmitted in the vehicle transmission band capable of transmitting the BM image of the highest image quality (resolution RBM) of 60 fps for one screen.
  • 21B shows the adjustment control when the vehicle 10 is moving in reverse at a medium speed that is a speed that is equal to or higher than the second threshold that is smaller than the first threshold and is lower than the first threshold.
  • the control unit 136 outputs the BM image of 60 fps with the resolution RBMM less than the resolution RBM, and the RV image of 30 fps with the resolution RRVM less than the resolution RRV, and the data amount adjustment unit 133. Adjustment control is performed as the control of.
  • the data amount adjustment unit 133 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 136, outputs the BM image of 60 fps with the resolution RBMM, and the 30 fps with the resolution RRVM. Output the RV image.
  • the camera unit 11 outputs a BM image of 60 fps with a resolution of RBMM and an RV image of 30 fps with a resolution of RRVM.
  • the BM display unit 21 displays the BM image of 60 fps with the resolution RBMM
  • the RV display unit 22 displays the RV image of 30 fps with the resolution RRVM.
  • the driver uses the BM image of 60 fps with the resolution RBMM, that is, the BM image of the medium resolution and the medium frame rate, and You can check the back from immediately after. Further, the driver can confirm the area immediately behind the rear part of the vehicle 10 with the RV image of 30 fps at the resolution RRVM, that is, the RV image of the medium resolution and the low frame rate.
  • the transmission band (hereinafter also referred to as a required transmission band) required for transmitting both the BM image of 60 fps with the resolution RBMM output by the camera unit 11 and the RV image of 30 fps with the resolution RRVM is 60 fps. If the BM image with the highest image quality is not included in the vehicle transmission band that can transmit only one screen, the BM image is compressed with the first compression for medium speed so that the required transmission band is included in the vehicle transmission band. Ratio, or convert the RV image as a color image or into a monochrome image and compress it at a second compression ratio for medium speed higher than the first compression ratio for medium speed. be able to.
  • 21C shows the adjustment control when the vehicle 10 is moving backward at a low speed that is smaller than the first threshold and smaller than the second threshold.
  • the control unit 136 controls the data amount adjustment unit 133 so that the BM image of 60 fps is output with the resolution RBML less than the resolution RBMM and the RV image of 30 fps is output with the resolution RRVM.
  • the data amount adjustment unit 133 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 136, outputs the BM image of 60 fps with the resolution RBML, and 30 fps with the resolution RRVM. Output the RV image.
  • the camera unit 11 outputs a BM image with a resolution of RBML and 60 fps and an RV image with a resolution of RRV and 30 fps.
  • the BM display unit 21 displays the BM image of 60 fps with the resolution RBML
  • the RV display unit 22 displays the RV image of 30 fps with the resolution RRVM.
  • the driver when the vehicle 10 is moving backward at a low speed, the driver immediately after the rear portion of the vehicle 10 by using the BM image of 60 fps at the resolution RBML, that is, the BM image of the low resolution and the medium frame rate. You can see more behind you. Further, the driver can confirm the area immediately behind the rear part of the vehicle 10 with the RV image of 30 fps at the resolution RRVM, that is, the RV image of the medium resolution and the low frame rate.
  • first compression rate for low speed a higher compression rate than the first compression rate for medium speed
  • second compression ratio for low speed medium speed Second compression rate> low speed first compression rate> medium speed first compression.
  • first compression rate value the higher the compression rate value
  • second compression rate for low speed the second compression rate for low speed.
  • Data amount after compression by rate data amount after compression by second compression ratio for medium speed ⁇ data amount after compression by first compression ratio for low speed ⁇ after compression by first compression for medium speed It becomes the amount of data.
  • the adjustment control for adjusting the data amount of the BM image and the RV image according to the vehicle speed of the vehicle 10 and the traveling direction (forward or backward) has been described.
  • the adjustment control method is not limited to the method described with reference to FIGS. 20 and 21. That is, the adjustment control method can be appropriately set according to the vehicle transmission band, the performance of the image sensor 32, the specifications of the BM display unit 21 and the RV display unit 22, and the like. Since the data amount is related to the image quality of the displayed BM image and the image quality of the RV image, it is said that the image quality of the BM image and the RV image is changed according to the vehicle speed and the traveling direction (forward or reverse) of the vehicle 10. I can say.
  • the resolution of the BM image and the RV image can be reduced by reducing the number of pixels forming the BM image and the RV image. It is also possible to perform compression without changing the number of pixels.
  • the compression ratio for compressing the BM image and the RV image is a part of the high frequency component obtained by the compression and decompression.
  • the compression ratio is adopted so that the substantial resolution (the highest frequency component that the image has) of the BM image and the RV image in which the frequency component is lost becomes equivalent to the resolution (the number of pixels) described in FIGS. 20 and 21. can do.
  • FIG. 22 is a flowchart illustrating an example of a display process for displaying the BM image and the RV image performed by the viewing system in FIG.
  • step S111 the image sensor 32 captures a captured image, and the process proceeds to step S112.
  • step S112 the acquisition unit 135 acquires vehicle information from the vehicle 10 and supplies the vehicle information to the control unit 136, and the process proceeds to step S113.
  • step S113 the control unit 136 controls the extraction of the image sensor 32 according to the vehicle information from the acquisition unit 135.
  • the image sensor 32 extracts the BM image and the RV image from the captured image according to the extraction control of the control unit 136.
  • the image sensor 32 supplies the BM image and the RV image to the data amount adjustment unit 133, and the process proceeds from step S113 to step S114.
  • step S114 the control unit 136 controls the data amount adjustment unit 133 according to the vehicle information from the acquisition unit 135.
  • the data amount adjustment unit 133 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 136.
  • the data amount adjustment unit 133 supplies the BM image and the RV image with the adjusted data amount to the output unit 134, and the process proceeds from step S114 to step S115.
  • the viewing system of FIG. 23 includes the camera unit 11, the BM display unit 21, and the RV display unit 22, and the camera unit 11 includes the optical system 31 or the acquisition unit 135. Common with.
  • step S127 the extraction unit 182 causes the BM display unit 21 to display an area of the same size as the area R11 at the position corresponding to the driver's line of sight and the position of the head from the BM image from the output unit 134. Extracted as a typical BM image. Then, the extraction unit 182 transmits the final BM image to the BM display unit 21, and the processing proceeds from step S127 to step S128.
  • the program can be installed in the computer from the removable recording medium 911 as described above, or downloaded to the computer via a communication network or a broadcast network and installed in the built-in hard disk 905. That is, the program is wirelessly transferred from a download site to a computer via an artificial satellite for digital satellite broadcasting, or is transferred to a computer via a network such as a LAN (Local Area Network) or the Internet by wire. be able to.
  • a network such as a LAN (Local Area Network) or the Internet by wire.
  • the CPU 902 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 902 outputs the processing result, for example, via the input / output interface 910, from the output unit 906 or transmitted from the communication unit 908, and further recorded on the hard disk 905, as necessary.
  • the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing that is executed in parallel or individually (for example, parallel processing or object processing).
  • the system means a set of a plurality of constituent elements (devices, modules (components), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the said detection part is an imaging device as described in ⁇ 2> which detects the said inclination information showing the inclination to the left side and the right side of the said vehicle.
  • the said control part is an imaging device in any one of ⁇ 1> thru
  • ⁇ 17> A program that causes a computer to further function as a detection unit that detects the tilt information of the vehicle using the vehicle information, The program according to ⁇ 15>, wherein control of reading an image from the image sensor is performed according to the tilt information.
  • the said vehicle information is an imaging device in any one of ⁇ 1> thru
  • ⁇ 20> The program according to ⁇ 15> or ⁇ 17>, wherein the vehicle information includes at least one of vehicle speed information and gear information.

Abstract

本技術は、車両の運転に適切な画像を容易に提供することができるようにする撮影装置、制御方法、及び、プログラムに関する。 制御部は、車両で取得される車両情報に基づいて、車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する。本技術は、例えば、車両の後方が写る画像を表示するビューイングシステムに適用することができる。

Description

撮影装置、制御方法、及び、プログラム
　本技術は、撮影装置、制御方法、及び、プログラムに関し、特に、例えば、車両の運転に適切な画像を容易に提供することができるようにする撮影装置、制御方法、及び、プログラムに関する。
　例えば、自動車等の車両については、車両の後部に、撮影装置としてのカメラを設置し、そのカメラで撮影された車両の後方が写る画像を表示するビューイングシステムが提案されている。
　ビューイングシステムが提供する、車両の後方が写る画像としては、車両の後部の直後より後方が写る画像や、車両の後部の直後が写る画像がある。
　ここで、車両の後部の直後より後方が写る画像は、例えば、いわゆる室内バックミラー（ルームミラー）と呼ばれるクラスIミラーに写る画像に相当する画像であり、以下、BM(Back Mirror)画像ともいう。また、車両の後部の直後が写る画像は、車両の後部とその直後とが写る画像であり、以下、RV(Rear View)画像ともいう。
　車両が坂道にさしかかった場合、その他、凹凸がある路面を走行している場合、車両は傾く。また、車両に積載する荷物や、車両の搭乗者の状態によっても、車両は傾くことがある。
　車両が傾くと、車両に設置されているカメラも傾き、これにより、BM画像に写る空や道路等の比率（割合）が、車両が傾いていない場合の状態から変化する。
　車両が傾いていない場合に、車両の運転に適切なBM画像が表示されるように、ビューイングシステムが調整されているときには、車両の傾きに起因して、BM画像に写る空や道路等の比率が変化すると、車両の運転に適切なBM画像が表示されなくなることがある。
　例えば、車両が平坦な路面を走行している場合には、車両の後方から接近してくる他の車両や、車両の後方にある障害物等を運転者が十分に認識することができるBM画像が表示されていたが、車両が傾くと、BM画像において、そのような他の車両や障害物を運転者が認識するのに必要な情報が少なくなることがある。
　そこで、例えば、坂道走行時に、カメラで撮影した撮影画像を後段の記憶装置に記憶させ、記憶装置に記憶された撮影画像から、必要な画像を切り出す技術が提案されている（例えば、特許文献１を参照）。
特許第6245274号
　記憶装置に記憶された撮影画像から、必要な画像を切り出す場合には、必要な画像のサイズ（画素数）を大きく超えるサイズの撮影画像を、カメラから読み出す必要がある。カメラから読み出す撮影画像のサイズが大きいことは、フレームレートの低下の原因となる。
　また、カメラの後段の記憶装置に記憶された撮影画像から必要な画像を切り出す技術以外にも、車両の運転に適切な画像を容易に提供することができる技術の提案が要請されている。
　本技術は、このような状況に鑑みてなされたものであり、車両の運転に適切な画像を容易に提供することができるようにするものである。
　本技術の撮影装置は、車両の表示部に表示される画像を撮影するイメージセンサと、前記車両で取得される車両情報に基づいて、前記イメージセンサからの画像の読み出しを制御する制御部とを備える撮影装置である。
　本技術の制御方法、又は、プログラムは、車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御ステップを備える制御方法、又は、そのような制御を行う制御部として、コンピュータを機能させるためのプログラムである。
　本技術の撮影装置、制御方法、及び、プログラムにおいては、車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しが制御される。
　なお、撮影装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。 車両１０の車内の構成例を示す斜視図である。 車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。 制御部４３による、撮影画像からの読み出し画像としてのBM画像及びRV画像の読み出し制御の例を説明する図である。 車両１０の状態とBM画像との関係の第１の例を説明する図である。 制御部４３による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。 イメージセンサ３２の構成例を示す図である。 ビューイングシステムの第１の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。 車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。 車両１０の状態とBM画像との関係の第２の例を説明する図である。 制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。 制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例をさらに説明する図である。 ビューイングシステムの第２の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。 車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。 制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。 ビューイングシステムの第３の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。 車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。 イメージセンサ３２から出力することができる画像の例を説明する図である。 車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。 制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。 制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。 ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。 車両１０に搭載されたビューイングシステムの第５の構成例を示すブロック図である。 制御部１８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。 ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜ビューイングシステムを搭載した車両の構成例＞
　図１は、本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。
　例えば、（四輪）自動車である車両１０には、後部に、車両１０の後方を撮影する撮影装置としての１台のカメラユニット１１が設置されている。図１では、カメラユニット１１は、車両１０のリアガラスの上部に設置されている。
　カメラユニット１１は、BM画像となる範囲と、RV画像となる範囲との両方が写る画像を一つの画像として撮影することができるように、広角（例えば、画角が120度以上）のカメラユニットになっている。さらに、カメラユニット１１は、BM画像において、遠方の被写体が明確に写るように、高解像度（例えば、解像度が4K以上）のカメラユニットになっている。したがって、カメラユニット１１は、広角かつ高解像度の画像を撮影することができる。
　なお、カメラユニット１１では、後述するように、カメラユニット１１において撮影される画像（以下、撮影画像ともいう）から、BM画像及びRV画像が抽出される。
　BM画像には、車両１０に室内バックミラー（ルームミラー。国際連合欧州経済委員会〈UN/ECE〉が定めるRegulation No.46におけるクラスIミラー）が設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子の画像が含まれるように、かつ、RV画像には、車両１０の後部とその（後部の）直後の様子の画像が含まれて写るように、カメラユニット１１は、光軸の向きが調整されて設置される。
　したがって、BM画像は、車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子が写る画像である。また、RV画像は、車両１０の後部とその直後の様子とが写る画像である。RV画像には、室内バックミラーでは死角となる車両１０の後部の直後が写るので、RV画像は、車両１０の後進時に、特に有用である。また、RV画像は、車両１０を上部から見たような俯瞰画像の生成に用いることができる。
　なお、上述のようなBM画像及びRV画像を抽出することができる撮影画像を撮影することができれば、カメラユニット１１を設置する位置は、車両１０のリアガラスの上部に限定されるものではない。例えば、カメラユニット１１は、車両１０のリアガラスの上部の他、車両１０の後部のナンバープレートの上部の位置P11等に設置することができる。
　図２は、図１の車両１０の車内の構成例を示す斜視図である。
　車両１０の車内の室内バックミラーが設置される位置には、BM画像を表示するBM表示部２１が設けられている。BM表示部２１は、室内バックミラーの代替となる表示部である。
　車両１０の車内のダッシュボードの中央の位置には、RV画像を表示するRV表示部２２が設けられている。
　なお、車両１０の車内のダッシュボードの運転席側には、運転者を撮影する車内カメラ２３が設けられている。車内カメラ２３では、運転者を撮影し、その運転者が写る画像が出力される。車両１０では、運転者が写る画像から、運転者の視線や頭部の位置が検出される。
　ここで、運転者を撮影する車内カメラ２３は、ダッシュボード以外の任意の位置、例えば、BM表示部２１の上部の位置P21等に設けることができる。
　＜ビューイングシステムの第１の構成例＞
　図３は、車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。
　ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。
　カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、及び、制御部４３を有する。
　光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。
　イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、BM画像やRV画像となる画像を含む撮影画像を撮影する。そして、イメージセンサ３２は、制御部４３の制御に従い、撮影画像から、BM画像及びRV画像（となる画像）を読み出して出力する。ここで、イメージセンサ３２が撮影画像から読み出して出力する画像を読み出し画像ともいう。イメージセンサ３２が出力する読み出し画像は、出力部３３に供給される。
　出力部３３は、イメージセンサ３２からの読み出し画像としてのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部３３からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部３３からのRV画像が、RV表示部２２の仕様に従って表示される。出力部３３は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。
　取得部４１は、車両１０で取得される車両情報を、車両１０から、車両１０に構築されたネットワーク（車両情報ネットワーク）を介して取得（受信）し、検出部４２に供給する。
　ここで、車両情報とは、例えば、車両１０が有するジャイロから得られるジャイロ情報、車両１０のサスペンションに関するサスペンション情報、車両１０の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPS(Global Positioning System)から得られるGPS情報、車両１０の車速や走行方向（前進又は後進）等の走行状態を表す走行情報、車内カメラ２３で撮影された画像から求められる車両１０の運転者の視線及び頭部の位置、車両１０が有するナビゲーションシステムで使用される3D(Dimension)マップ、ADAS（Advanced Driving Assist System）/ 自動運転システムで使用される高精細度マップ等の、車両１０で取得することができるあらゆる情報を含む。車速としては、例えば、車両１０が速度センサを搭載している場合には、その速度センサが出力する速度情報を採用することができる。走行方向としては、例えば、トランスミッションの状態を表すギア情報を採用することができる。
　取得部４１は、必要に応じて１以上の車両情報を取得し、検出部４２に供給する。
　ビューイングシステムの第１の構成例では、取得部４１は、車両情報としての、例えば、ジャイロ情報、又は、GPS情報及び3Dマップ（高精細度マップ）を取得し、検出部４２に供給する。
　検出部４２は、取得部４１からの車両情報を用いて、車両１０の傾きを表す傾き情報を検出（算出）し、制御部４３に供給する。
　制御部４３は、車両情報に基づいて、イメージセンサ３２からの読み出し画像の読み出しを制御する。
　例えば、制御部４３は、検出部４２が車両情報から検出する傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。
　すなわち、制御部４３は、検出部４２から供給される傾き情報に応じて、イメージセンサ３２で撮影された撮影画像から、読み出し画像として読み出しが開始される画像の読み出し開始位置を算出するとともに、読み出し画像のサイズ（画素数）を設定し、その読み出し開始位置とサイズとで指定される読み出し位置を、イメージセンサ３２に供給することで、イメージセンサ３２からの読み出し画像の読み出しを制御する読み出し制御を行う。
　イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。
　なお、読み出し位置は、読み出し開始位置とサイズとで指定する他、例えば、読み出し開始位置と、読み出し画像の読み出しを終了する読み出し終了位置とで指定することができる。
　ここで、ビューイングシステムの第１の構成例では、イメージセンサ３２が出力する読み出し画像は、BM表示部２１で表示されるBM画像や、RV表示部２２で表示されるRV画像に一致する。したがって、ビューイングシステムの第１の構成例では、読み出し画像のサイズとしては、BM表示部２１で表示されるBM画像や、RV表示部２２で表示されるRV画像が設定される。
　＜撮影画像からの読み出し画像の読み出し制御＞
　図４は、制御部４３による、撮影画像からの読み出し画像としてのBM画像及びRV画像の読み出し制御の例を説明する図である。
　光学系３１と、イメージセンサ３２が撮影する撮影画像とは、例えば、図４に示すように、撮影画像（イメージセンサ３２の受光面）が光学系３１（を構成するレンズ）のイメージサークルを包含するような位置関係になっている。
　制御部４３は、読み出し制御において、撮影画像から、車両１０の後部の直後より後方が写る所定の領域（車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察される領域）R11を、BM画像として抽出するように、イメージセンサ３２からの画素信号の読み出しを制御する。つまり、表示デバイスや、画像表示機能の種類（／アプリケーション）に応じて、イメージセンサ３２からの画素信号の読出しを制御する。
　さらに、制御部４３は、読み出し制御において、読み出し画像の読み出し位置を、イメージセンサ３２に供給することにより、撮影画像（のうちのイメージサークル内の画像）から、車両１０の後部と、その直後とが写る所定の領域R12を、RV画像として抽出するように、イメージセンサ３２からの画素信号の読み出しを制御する。
　イメージセンサ３２は、制御部４３の制御に従い、撮影により得られた撮影画像から、BM画像（の画素値）となる領域R11の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力するとともに、RV画像となる領域R12の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。
　領域R11及びR12は、制御部４３からイメージセンサ３２に供給される読み出し画像の読み出し位置によって指定される。
　なお、制御部４３は、読み出し画像としてのBM画像の読み出し制御において、車両情報に含まれる運転者の視線及び頭部の位置等にも応じて、BM画像として抽出する領域R11を指定する読み出し位置を算出することができる。
　すなわち、仮に、車両１０に、バックミラーが設置されていたならば、運転者が視線や頭部を移動すると、バックミラーによって運転者が見ることができる画像に写る範囲が変化する。車両１０にバックミラーが設置されている場合に観察することができる画像と同様の範囲が写るBM画像を、運転者が見ることができるように、制御部４３は、読み出し画像としてのBM画像の読み出し制御において、運転者の視線や頭部の位置にも応じて、BM画像として抽出する領域R11を指定する読み出し位置を算出することができる。
　以下では、説明を簡単にするため、RV画像については、説明を省略する。
　＜車両１０の状態とBM画像との関係＞
　図５は、車両１０の状態とBM画像との関係の第１の例を説明する図である。
　図５（A1)は車両１０が平坦な路面を走行している場合の車両１０の状態を示す図である。また、図5（A2）は、車両１０が平坦な路面を走行している場合のBM画像例である。
　図５（B1)は車両１０が下り坂に差しかかった場合の車両１０の状態を示す図である。また、図5（B2）は、車両１０が下り坂に差しかかった場合のBM画像例である。
　図５（C1)は車両１０が上り坂に差しかかった場合の車両１０の状態を示す図である。また、図5（C2）は、車両１０が上り坂に差しかかった場合のBM画像例である。
　いま、BM画像に写る３次元空間の範囲を、BM範囲ということとする。また、以下では、説明を簡単にするため、運転者の視線及び頭部の位置は固定されているとする。したがって、撮影画像からBM画像として抽出される領域R11（の位置）、ひいては、BM範囲に関して、運転者が視線や頭部の位置を動かすことに起因する変化はないこととする。
　さらに、制御部４３において、車両１０が平坦な路面に位置している場合（車両１０が傾いていない場合）に、図５に示すように、車両１０から所定の距離だけ後方に位置する後方車両が、ほぼ画面中央に写るBM画像が抽出されるように、読み出し制御、すなわち、読み出し位置（読み出し開始位置及びサイズ）の算出が行われることとする。
　この場合、車両１０が下り坂にさしかかると、車両１０がピッチ方向としての前側に傾き、車両１０の後部に設置されたカメラユニット１１の光軸、ひいては、BM範囲が、車両１０が平坦な路面に位置している場合よりも上側（空側）に傾く（図５（B1）,図５（B2））。
　その結果、車両１０が平坦な路面に位置している状態（平坦な路面を走行している場合）ではBM画像のほぼ画面中央に車両１０から所定の距離だけ後方にある後方車両が写るようなカメラ設定の場合、車両１０が下り坂にさしかかった状態では、車両１０から所定の距離だけ後方にある後方車両が、画面下方に写るBM画像が得られる。このBM画像は、図５に示すように、車両１０が平坦な路面に位置している状態のBM画像に比較して、空（が写る領域）の比率が大きく、かつ、道路の比率が小さい画像となる。
　したがって、車両１０が下り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、情報量が変化する。すなわち、例えば、車両１０が下り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、道路に関する情報量が減少する。また、車両10と後方車両の相対位置や、下り坂の傾きの状態によっては、後方車両の一部が写らなかったり、後方車両自体が写らないことが起こることがある。
　一方、車両１０が上り坂にさしかかると、車両１０がピッチ方向としての後ろ側に傾き、車両１０の後部に設置されたカメラユニット１１の光軸、ひいては、BM範囲が、車両１０が平坦な路面に位置している場合よりも下側（道路側）に傾く（図５(C1)、図５（C2））。
　その結果、車両１０が平坦な路面に位置している状態ではBM画像のほぼ画面中央に車両１０から所定の距離だけ後方にある後方車両が写るようなカメラ設定の場合、車両１０が上り坂にさしかかった状態では、車両１０から所定の距離だけ後方にある後方車両が、画面上方に写るBM画像が得られる。このBM画像は、図５に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、空（が写る領域）の比率が小さく、かつ、道路の比率が大きい画像となる。
　したがって、車両１０が上り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、情報量が変化する。すなわち、例えば、車両１０が上り坂にさしかかった場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、空の比率が小さくなるので、空に関する情報量が減少する。また、車両10と後方車両の相対位置や、上り坂の傾きの状態によっては、後方車両の一部が写らなかったり、後方車両自体が写らないことが起こることがある。
　以上のように、車両１０が下り坂や上り坂にさしかかった場合のBM画像において、車両１０が平坦な路面に位置している場合のBM画像から情報量が変化することは、車両１０の運転者に、車両１０の運転に適切なBM画像を提供する観点からは、好ましくない。
　そこで、制御部４３は、BM画像の読み出し制御において、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像としてのBM画像の読み出しを制御することで、車両１０の状態にかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像が得られるようにする。
　＜制御部４３による傾き情報に応じた読み出し画像の読み出し制御＞
　図６は、制御部４３による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
　いま、車両１０が平坦な路面に位置している場合に、制御部４３において、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。領域R101のサイズは、読み出し画像としてのBM画像のサイズと一致する。
　例えば、車両１０が上り坂にさしかかり、車両１０が後ろ側に傾いた場合、制御部４３は、傾き情報に応じて、領域R101から、車両１０の後ろ側への傾きの角度に応じた画素数分だけ、上方にずれた、領域R101と同一サイズの領域R102を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。
　また、例えば、車両１０が下り坂にさしかかり、車両１０が前側に傾いた場合、制御部４３は、傾き情報に応じて、領域R101から、車両１０の前側への傾きの角度に応じた画素数分だけ、下方にずれた、領域R101と同一サイズの領域R103を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。
　傾き情報に応じた読み出し位置の算出では、車両１０が平坦な路面に位置している場合のBM画像と同様の比率で、道路や空が写る読み出し画像が読み出されるように、すなわち、読み出し画像に写る路や空の比率が、車両１０が平坦な路面に位置している場合のBM画像と同様の比率に維持されるように（／近づくように）、読み出し位置が算出される。
　制御部４３において、以上のような読み出し制御を行うことにより、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のピッチ方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に得ることができる。
　ビューイングシステムの第１の構成例では、検出部４２は、取得部４１から供給される車両情報としてのジャイロ情報、又は、GPS情報及び3Dマップ等から、（急な）坂道を検出し、車両１０が坂道にさしかかったときの車両１０の傾き情報、すなわち、ここでは、主として、ピッチ方向としての前側及び後ろ側への車両１０の傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部４３に供給する。
　検出部４２では、例えば、ジャイロ情報を用いて、車両１０が坂道にさしかかったことを検出し、さらに、そのときの車両１０のピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出することができる。
　また、検出部４２では、例えば、GPS情報を用いて得られる現在地と3Dマップとから、車両１０が坂道にさしかかることを検出（推定）し、さらに、3Dマップを用いて得られる坂道の傾斜を用いて、車両１０が坂道にさしかかったときの車両１０のピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出（推定）することができる。
　制御部４３は、検出部４２からの傾き情報に応じて、イメージセンサ３２から読み出し画像として読み出す画像の読み出し位置を算出し、イメージセンサ３２に供給することで、イメージセンサ３２からの読み出し画像の読み出しを制御する。
　イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を出力する。
　＜イメージセンサ３２の構成例＞
　図７は、図３のイメージセンサ３２の構成例を示す図である。
　イメージセンサ３２は、画素アレイ５１、入力回路５２、行選択回路５３、列選択回路５４、AD(Analog to Digital)変換器５５、ラインバッファ５６、及び、出力回路５７を有する。
　画素アレイ５１は、複数の画素６１が２次元平面上に配置されて構成される。画素アレイ５１において画素６１が配置されている領域が、イメージセンサ３２の受光面である。
　画素６１は、そこに入射する光を、その光の光量に応じた電気信号としての画素信号に変換する。画素アレイ５１からは、行選択回路５３で選択された行で、列選択回路５４で選択された列の画素６１の画素信号が、列選択回路５４を介して読み出され、AD変換器５５に供給される。
　入力回路５２には、制御部４３から、撮影画像から読み出す読み出し画像の読み出し開始位置と、その読み出し画像のサイズ（以下、読み出しサイズともいう）とで指定される読み出し位置が供給される。
　入力回路５２は、制御部４３からの読み出し位置としての読み出し開始位置及び読み出しサイズを用いて、例えば、ラスタスキャン順で、画素アレイ５１の画素６１のうちの、画素信号の読み出しを開始する画素６１の座標を、読み出し開始座標(X_STA,Y_STA)として算出するとともに、画素信号の読み出しを終了する画素６１の座標を、読み出し終了座標(X_END,Y_END)として算出する。
　入力回路５２は、読み出し開始座標(X_STA,Y_STA)のy座標Y_STA、及び、読み出し終了座標(X_END,Y_END)のy座標Y_ENDを、行選択回路５３に供給するとともに、読み出し開始座標(X_STA,Y_STA)のx座標X_STA、及び、読み出し終了座標(X_END,Y_END)のx座標X_ENDを、列選択回路５４に供給する（処理PR1）。
　行選択回路５３は、入力回路５２からのy座標Y_STAが表す画素６１の行からy座標Y_ENDが表す画素６１の行までの各行を、順次選択する（処理PR2）。
　画素アレイ５１では、行選択回路５３が選択する行の画素６１から画素信号が読み出され、列選択回路５４に供給される。
　列選択回路５４は、画素６１から読み出された画素信号のうちの、入力回路５２からのx座標X_STAが表す画素６１の列からx座標X_ENDが表す画素６１の列までの各列の画素６１の画素信号を選択し、AD変換器５５に供給する（処理PR3）。
　AD変換器５５は、列選択回路５４からの画素信号を、例えば、１行単位でAD変換し、AD変換後の画素信号を、ラインバッファ５６に供給する（処理PR4）。
　ラインバッファ５６は、AD変換器５５からの画素信号を一時記憶する。
　出力回路５７は、ラインバッファ５６に記憶された画素信号を、１画素分ずつ読み出し（処理PR5）、読み出し画像の画素値として、イメージセンサ３２の外部に出力する。
　以上のようにして、イメージセンサ３２では、読み出し開始座標(X_STA,Y_STA)の画素６１を、左上の頂点とするとともに、読み出し終了座標(X_END,Y_END)の画素６１を、右下の頂点とする矩形の領域を、読み出し領域として、その読み出し領域内の画素６１の画素信号が読み出され、その画素信号を画素値とする画像が、読み出し画像として出力される。
　＜表示処理＞
　図８は、図３のビューイングシステムの第１の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。
　ステップＳ１１において、取得部４１は、車両情報としての、例えば、ジャイロ情報、又は、GPS情報及び3Dマップを取得し、検出部４２に供給して、処理は、ステップＳ１２に進む。
　ステップＳ１２では、検出部４２は、取得部４１からの車両情報を用いて、坂道を検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、車両１０が坂道にさしかかったときの車両１０の傾き情報（主として、ピッチ方向としての前側及び後ろ側への傾きを表す傾き情報）を検出（算出）し、制御部４３に供給して、処理は、ステップＳ１２からステップＳ１３に進む。
　ステップＳ１３では、制御部４３は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置を算出し、その読み出し開始位置と、BM画像のサイズとを、読み出し位置として、イメージセンサ３２に供給して、処理は、ステップＳ１４に進む。
　ステップＳ１４では、イメージセンサ３２は、制御部４３からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、出力部３３に供給され、処理は、ステップＳ１４からステップＳ１５に進む。
　ステップＳ１５では、出力部３３は、イメージセンサ３２からの読み出し画像を、BM画像として、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。
　以上のように、ビューイングシステムの第１の構成例は、主として、ピッチ方向としての前側及び後ろ側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御するので、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が坂道にさしかかった場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。
　さらに、ビューイングシステムの第１の構成例では、読み出し制御において、イメージセンサ３２からBM画像と同一のサイズの読み出し画像が読み出されるので、イメージセンサ３２からBM画像よりも大きなサイズの画像が読み出される場合に比較して、BM画像のフレームレートが低下するおそれを抑制することができる。
　第1の構成例の車両情報としては、ジャイロ情報、GPS情報と３Dマップの例で説明した。ただ、第1の構成例における車両情報としては、後述の第2の構成例、第３の構成例のように、サスペンション情報や、フロントカメラ画像等を用いてもよい。これらの、サスペンション情報や、フロントカメラ画像等を用いて、車両の傾きを検出するようにしてもよい。
　＜ビューイングシステムの第２の構成例＞
　図９は、車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。
　なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図９において、ビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。さらに、図９において、カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、制御部７１、及び、加工部７２を有する。
　したがって、図９のビューイングシステムの第２の構成例は、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する点で、図３の場合と共通する。
　但し、図９のビューイングシステムの第２の構成例は、カメラユニット１１において、制御部４３に代えて、制御部７１が設けられるとともに、加工部７２が新たに設けられている点で、図３の場合と相違する。
　制御部７１は、制御部４３と同様に、検出部４２から供給される傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。
　但し、制御部７１は、検出部４２から供給される傾き情報に応じて、イメージセンサ３２で撮影された撮影画像から、読み出し画像の読み出し開始位置、及び、読み出しサイズを算出し、その読み出し開始位置と読み出しサイズとで指定される読み出し位置を、イメージセンサ３２に供給する。
　すなわち、ビューイングシステムの第１の構成例では、読み出し画像のサイズが、BM画像のサイズと一致するため、読み出しサイズは、BM画像のサイズに設定されるが、ビューイングシステムの第２の構成例では、読み出しサイズは、傾き情報に応じて算出される。
　ここで、ビューイングシステムの第２の構成例では、取得部４１は、車両情報としての、例えば、サスペンション情報等を取得し、検出部４２に供給する。
　この場合、検出部４２は、取得部４１からのサスペンション情報を用いて、ロール方向としての左側及び右側への傾きを検出し、その傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。
　制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２が出力する読み出し画像を回転させる回転角度を算出し、加工部７２に供給する。制御部７１は、以上のように、回転角度を、加工部７２に供給することで、その回転角度だけ、読み出し画像を回転するように、加工部７２による読み出し画像の回転を制御する。
　加工部７２には、イメージセンサ３２が出力する読み出し画像が供給される。
　加工部７２は、制御部７１からの回転角度に従って、読み出し画像を回転する。さらに、加工部７２は、回転後の読み出し画像から、BM画像のサイズ（以下、BMサイズともいう）の画像を切り出し、BM画像として、出力部３３に供給する。
　以上のように、加工部７２では、読み出し画像が回転され、その回転後の読み出し画像から、BMサイズの画像が切り出される。したがって、読み出し画像は、回転後の読み出し画像からBMサイズの画像を切り出すことができるサイズを有する画像である必要がある。
　そのため、制御部７１は、傾き情報に応じて、例えば、回転後の読み出し画像からBMサイズの画像を切り出すことができる読み出し画像の最小のサイズを、読み出しサイズとして算出する。
　＜車両１０の状態とBM画像との関係＞
　図１０は、車両１０の状態とBM画像との関係の第２の例を説明する図である。
　図１０（A1)は車両１０が平坦な路面を走行している場合の車両１０の状態を示す図である。また、図１０（A2）は、車両１０が平坦な路面を走行している場合のBM画像例である。
　図１０（B1)は車両１０が前方の向きに対して右側に左側より高い段差がある路面に位置する場合の車両１０の状態を示す図である。また、図１０（B2）は、車両１０が前方の向きに対して右側に左側より高い段差がある路面に位置する場合のBM画像例である。
　図１０（C1)は車両１０が前方の向きに対して左側に右側より高い段差がある路面に位置する場合の車両１０の状態を示す図である。また、図１０（C2）は、車両１０が前方の向きに対して左側に右側より高い段差がある路面に位置する場合のBM画像例である。
　図１０でも、図５の場合と同様に、運転者が視線や頭部の位置を動かすことに起因して、撮影画像からBM画像として抽出される領域R11は変化しないこととする。
　この場合、車両１０が、前方の向きに対して右側に左側より高い段差がある路面に位置すると、車両１０がロール方向としての左側に傾き、車両１０の後部に設置されたカメラユニット１１も同様にロール方向に傾く。
　その結果、車両１０が平坦な路面に位置している場合（図10(A)）、BM画像に水平方向に延びるように水平線が写る。車両１０が右側に高い段差がある路面に位置する場合には、右下がり（左上がり）に写るBM画像が得られる（図10(B)）。このBM画像は、図１０に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、BM画像に写る空や道路の範囲が変化した画像になる。すなわち、車両１０が右側に高い段差がある路面に位置する場合のBM画像（図10(B)）では、車両１０が平坦な路面に位置している場合にBM画像と比較して、右側の道路の比率が小さくなるとともに、右側の空の比率が大きくなり、かつ、左側の道路の比率が大きくなるとともに、左側の空の比率が小さくなる。
　したがって、車両１０が右側に高い段差がある路面に位置する場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、内容が変化する。
　一方、車両１０が、前方の向きに対して左側に右側より高い段差がある路面に位置すると、車両１０がロール方向としての右側に傾き、車両１０の後部に設置されたカメラユニット１１も同様にロール方向に傾く。
　その結果、車両１０が左側に高い段差がある路面に位置する場合には、水平線は右上がり（左下がり）に写るBM画像が得られる（図10(C)）。このBM画像は、図１０に示すように、車両１０が平坦な路面に位置している場合のBM画像に比較して、BM画像に写る空や道路の範囲が変化した画像になる。すなわち、車両１０が左側に高い段差がある路面に位置する場合のBM画像（図10(C)）では、車両１０が平坦な路面に位置している場合にBM画像と比較して、右側の道路の比率が大きくなるとともに、右側の空の比率が小さくなり、かつ、左側の道路の比率が小さくなるとともに、左側の空の比率が大きくなる。
　したがって、車両１０が左側に高い段差がある路面に位置する場合のBM画像では、車両１０が平坦な路面に位置している場合のBM画像と比較して、内容が変化する。
　以上のように、車両１０が左側又は右側に高い段差がある路面に位置する場合のBM画像が、車両１０が平坦な路面に位置している場合のBM画像から変化したものであることは、車両１０の運転者に、車両１０の運転に適切なBM画像を提供する観点からは、好ましくない。
　そこで、制御部７１は、BM画像の読み出し制御において、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像としてのBM画像の読み出しを制御することで、車両１０の状態にかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像が得られるようにする。
　＜制御部７１による傾き情報に応じた読み出し画像の読み出し制御＞
　図１１は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
　左側の図１１（A）は、夫々の場合におけるイメージセンサ３２上の読出し領域を示した図である。右側の図１１（B）は、加工部７２における切りだし領域を示した図である。
　図６で説明したように、制御部７１では、車両１０が平坦な路面に位置している場合に、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、BM画像と一致するサイズの矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。
　例えば、車両１０が、段差がある路面に位置し、車両１０がロール方向に傾いた場合、制御部７１は、傾き情報に応じて、車両１０のロール方向への傾きの角度に応じた画素数分だけ領域R101よりも大きいサイズの領域R111を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、読み出し制御を行う。
　ここで、車両１０がロール方向に傾いた場合のBM画像では、図１０に示したように、車両１０が平坦な路面に位置している場合のBM画像に水平方向に延びるように写る水平線が傾く。
　そこで、加工部７２では、イメージセンサ３２が読み出し制御に応じて出力する読み出し画像が、その読み出し画像に写る水平線が水平方向に延びるように回転され、回転後の読み出し画像から、BM画像（となる画像）が切り出される。
　制御部７１において、傾き情報に応じた読み出し位置の算出では、例えば、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズで、領域R101の中心（重心）を中心とする領域R111を指定する読み出し位置としての読み出し開始位置及び読み出しサイズが算出され、イメージセンサ３２に供給される。
　さらに、制御部７１では、傾き情報に応じて、例えば、イメージセンサ３２が出力する読み出し画像としての領域R111に写る水平線が水平方向に延びるように写るように、読み出し画像としての領域R111を回転する回転角度が算出され、加工部７２に供給される。
　イメージセンサ３２では、制御部７１からの読み出し位置としての読み出し開始位置及び読み出しサイズによって指定される矩形の領域R111が、読み出し画像として読み出され、加工部７２に供給される。
　加工部７２では、イメージセンサ３２からの読み出し画像としての領域R111が、制御部７１からの回転角度だけ回転される。そして、加工部７２では、領域R111を回転した回転後の領域R112から、回転角度が0度の、BM画像と同一サイズの領域R113が、BM画像として切り出される（図１１（B））。
　図１１（A）の読み出し画像は、車両１０がロール方向としての右側に傾いており、読み出し画像に写る水平線が右上がりに傾く。そのため、加工部７２では、右上がりに傾いた水平線が水平方向に延びるように、読み出し画像としての領域R111が右回り（時計回り）に回転され、回転後の領域R112から、BM画像としての領域R113が切り出されている。
　以上により、BM画像として、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のロール方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に得ることができる。
　図１２は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例をさらに説明する図である。
　図１２(A）は、車両１０がロール方向に傾いている場合の読み出し画像の読み出しサイズが、BM画像のサイズよりも大きくなることを説明する図である。図１２（B）は、加工部７２における回転を説明する図である。図１２（C）は、加工部７２におけるBM画像の切り出しを説明する図である。
　図１２（A）では、車両１０がロール方向としての右側に傾いており、そのため、読み出し画像に写る水平線が右上がりに傾いている。
　ビューイングシステムの第２の構成例では、検出部４２は、取得部４１から供給される車両情報としてのサスペンション情報から、車両１０がロール方向に傾いていることを検出し、車両１０の傾きを表す傾き情報、すなわち、ここでは、主として、ロール方向としての左側及び右側への車両１０の傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。
　制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２から読み出す読み出し画像の読み出し位置が表す領域R111の読み出し開始位置及び読み出しサイズを算出し、イメージセンサ３２に供給する。車両１０がロール方向に傾いている場合（ロール方向の傾きが0度以外である場合）、読み出しサイズは、BM画像と同一サイズの領域R101のサイズよりも大きくなる。
　また、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像としての領域R111を回転する回転角度を算出し、加工部７２に供給する。
　イメージセンサ３２は、制御部７１からの読み出し位置（読み出し開始位置及び読み出しサイズ）が表す領域R111を読み出し画像として読み出して出力する。
　イメージセンサ３２が出力する読み出し画像としての領域R111は、加工部７２に供給される。
　加工部７２では、領域R111が、制御部７１からの回転角度だけ回転され、これにより、水平線が水平方向に延びるように写る領域R112が生成される（図１２（B））。さらに、加工部７２では、領域R112から、領域R101と同一サイズの領域R113が、BM画像として切り出される（図12（B）（C））。
　＜表示処理＞
　図１３は、図９のビューイングシステムの第２の構成例が行うBM画像を表示する表示処理の例を説明するフローチャートである。
　ステップＳ２１において、取得部４１は、車両情報としての、例えば、サスペンション情報を取得し、検出部４２に供給して、処理は、ステップＳ２２に進む。
　ステップＳ２２では、検出部４２は、取得部４１からの車両情報を用いて、車両１０のロール方向の傾きを検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、車両１０がロール方向に傾いている場合の、車両１０の傾き情報（主として、ロール方向としての左側及び右側への傾きを表す傾き情報）を検出（算出）し、制御部７１に供給して、処理は、ステップＳ２２からステップＳ２３に進む。
　ステップＳ２３では、制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置及び読み出しサイズを算出し、その読み出し開始位置及び読み出しサイズを、読み出し位置として、イメージセンサ３２に供給する。さらに、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像を回転する回転角度を算出し、加工部７２に供給して、処理は、ステップＳ２３からステップＳ２４に進む。
　ステップＳ２４では、イメージセンサ３２は、制御部７１からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、加工部７２に供給され、処理は、ステップＳ２４からステップＳ２５に進む。
　ステップＳ２５では、加工部７２は、イメージセンサ３２からの読み出し画像を、制御部７１からの回転角度だけ回転する。さらに、加工部７２は、回転後の読み出し画像からBM画像を切り出し、出力部３３に供給して、処理は、ステップＳ２５からステップＳ２６に進む。
　ステップＳ２６では、出力部３３は、加工部７２からのBM画像を、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。
　以上のように、ビューイングシステムの第２の構成例は、主として、ロール方向としての左側及び右側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。さらに、ビューイングシステムの第２の構成例では、傾き情報に応じて、読み出し画像の回転を制御し、回転後の読み出し画像からBM画像を切り出す。したがって、ビューイングシステムの第２の構成例によれば、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が左右に段差がある路面に位置している場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。
　さらに、ビューイングシステムの第２の構成例では、読み出し制御において、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズの読み出し画像が、イメージセンサ３２から読み出されるので、BM画像のフレームレートが低下するおそれを抑制することができる。
　第２の構成例の車両情報としては、サスペンション情報の例で説明した。ただ、車両情報としては、前述の第1の構成例や、後述の第３の構成例のように、ジャイロ情報、GPS情報と３Dマップ、フロントカメラ画像等を用いてもよい。そして、これらの、ジャイロ情報、GPS情報と３Dマップ、フロントカメラ画像等を用いて、車両の傾きを検出するようにしてもよい。
　＜ビューイングシステムの第３の構成例＞
　図１４は、車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。
　なお、図中、図３又は図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１４において、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。さらに、図１４において、カメラユニット１１は、光学系３１、イメージセンサ３２、出力部３３、取得部４１、検出部４２、制御部７１、及び、加工部７２を有する。
　したがって、図１４のビューイングシステムの第３の構成例は、図９のビューイングシステムの第２の構成例と同様に構成される。
　但し、図１４のビューイングシステムの第３の構成例では、取得部４１は、車両情報としての、例えば、サスペンション情報、又は、フロントカメラ画像等を取得し、検出部４２に供給する。
　この場合、検出部４２は、取得部４１からのサスペンション情報又はフロントカメラ画像を用いて、路面の凹凸状況を検出する。さらに、検出部４２は、その路面の凹凸による車両１０のピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを検出し、その傾き（の程度）を表す傾き情報を検出（算出）する。そして、検出部４２は、傾き情報を、制御部７１に供給する。
　ここで、ビューイングシステムの第１の構成例では、車両１０のピッチ方向としての前側及び後ろ側の傾きに応じて、イメージセンサ３２からの読み出し画像の読み出しが制御される。ビューイングシステムの第２の構成例では、車両１９のロール方向としての左側及び右側への傾きに応じて、イメージセンサ３２からの読み出し画像の読み出し、及び、加工部７２での読み出し画像の回転が制御される。
　これに対して、ビューイングシステムの第３の構成例では、車両１０のピッチ方向としての前側及び後ろ側の傾き、並びに、ロール方向としての左側及び右側への傾きに応じて、イメージセンサ３２からの読み出し画像の読み出し、及び、加工部７２での読み出し画像の回転が制御される。
　したがって、ビューイングシステムの第３の構成例では、イメージセンサ３２からの読み出し画像の読み出しの制御として、ビューイングシステムの第１の構成例及び第２の構成例で行われるイメージセンサ３２からの読み出し画像の読み出しの制御それぞれを合わせたような制御が行われる。さらに、ビューイングシステムの第３の構成例では、加工部７２での読み出し画像の回転の制御として、ビューイングシステムの第２の構成例で行われる読み出し画像の回転制御と同様の制御が行われる。
　＜制御部７１による傾き情報に応じた読み出し画像の読み出し制御＞
　図１５は、制御部７１による傾き情報に応じた読み出し画像の読み出し制御の例を説明する図である。
　図１５(A）は、イメージセンサ３２からの、BM画像より大きいサイズの読み出し画像の読み出しを示す図である。図１５（B）は、加工部７２における読み出し画像の回転及び切り出しを示す図である。
　図６及び図１１で説明したように、制御部７１では、車両１０が平坦な路面に位置している場合に、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）から、読み出し画像としてのBM画像と一致するサイズの矩形の領域R101（の画素の画素信号）が読み出されるように、読み出し制御が行われることとする。
　例えば、車両１０が、凹凸がある路面に位置し、車両１０がピッチ方向やロール方向に傾いた場合、制御部７１は、傾き情報に応じて、車両１０のロール方向への傾きの角度に応じた画素数分だけ領域R111より大きいサイズで、車両１０のピッチ方向への傾きの角度に応じた画素数分だけ領域R111から上下方向にずれた領域R121を指定する読み出し位置を算出し、その読み出し位置の画素信号を読み出すように、イメージセンサ３２の読み出し制御を行う。
　さらに、制御部７１では、傾き情報に応じて、例えば、イメージセンサ３２が出力する読み出し画像としての領域R121に写る水平線が水平方向に延びるように写るように、読み出し画像としての領域R121を回転する回転角度が算出され、加工部７２に供給される。
　イメージセンサ３２では、制御部７１からの読み出し制御に従って、矩形の領域R121が、読み出し画像として読み出され、加工部７２に供給される。
　加工部７２では、イメージセンサ３２からの読み出し画像としての領域R121が、制御部７１からの回転角度だけ回転される。そして、加工部７２では、領域R121を回転した回転後の領域R122から、回転角度が0度の、BM画像と同一サイズの領域R123が、BM画像として切り出される。
　図１５では、車両１０がピッチ方向としての後ろ側に傾き、かつ、ロール方向としての右側に傾いており、そのため、イメージセンサ３２からは、領域R101よりサイズが大きい、領域R101から上方にずれた領域R121が、読み出し画像として読み出されている。さらに、車両１０がロール方向としての右側に傾いているため、読み出し画像としての領域R121に写る水平線は右上がりに傾いているので、加工部７２では、その右上がりに傾いた水平線が水平方向に延びるように、読み出し画像としての領域R121が右回りに回転されている。そして、加工部７２では、領域R121を回転した回転後の領域R122から、BM画像としての領域R123が切り出されている。
　以上により、BM画像として、車両１０の運転に適切な画像を容易に得ることができる。すなわち、車両１０のピッチ方向やロール方向の傾きにかかわらず、車両１０が平坦な路面に位置している場合のBM画像と同様の画像表現であるBM画像を、容易に得ることができる。これにより、車両10の傾きによらず水平線が水平となるような画像を表示できるため、後方車両との一時的な傾きの違いに起因する表示画像の違い（水平線位置の違い）を起こすことが無い。運転者は運転中の表示画像の違い（水平線位置の違い）を気にすることなく、車両後方の状況を把握することができる。
　なお、ビューイングシステムの第３の構成例において、検出部４２では、例えば、サスペンション情報から、車両１０のピッチ方向及びロール方向の傾きを検出することができる。
　また、検出部４２では、例えば、フロントカメラ画像から、車両１０の前方の路面の凹凸を認識し、その凹凸の認識結果に応じて、認識した凹凸がある路面を車両１０が通るときの車両１０のピッチ方向及びロール方向の傾きを推定することにより検出することができる。
　＜表示処理＞
　図１６は、図１４のビューイングシステムの第３の構成例が行うBM画像及を表示する表示処理の例を説明するフローチャートである。
　ステップＳ３１において、取得部４１は、車両情報としての、例えば、サスペンション情報又はフロントカメラ画像を取得し、検出部４２に供給して、処理は、ステップＳ３２に進む。
　ステップＳ３２では、検出部４２は、取得部４１からの車両情報を用いて、車両１０が位置する路面の凹凸状況を検出する。さらに、検出部４２は、取得部４１からの車両情報を用いて、路面の凹凸による車両１０の傾きを表す傾き情報（ピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを表す傾き情報）を検出（算出）し、制御部７１に供給して、処理は、ステップＳ３２からステップＳ３３に進む。
　ステップＳ３３では、制御部７１は、検出部４２からの傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出し開始位置及び読み出しサイズを算出し、その読み出し開始位置及び読み出しサイズを、読み出し位置として、イメージセンサ３２に供給する。さらに、制御部７１は、検出部４２からの傾き情報に応じて、読み出し画像を回転する回転角度を算出し、加工部７２に供給して、処理は、ステップＳ３３からステップＳ３４に進む。
　ステップＳ３４では、イメージセンサ３２は、制御部７１からの読み出し位置の画素の画素信号を読み出し、その画素信号を画素値とする読み出し画像を取得して出力する。イメージセンサ３２が出力する読み出し画像は、加工部７２に供給され、処理は、ステップＳ３４からステップＳ３５に進む。
　ステップＳ３５では、加工部７２は、イメージセンサ３２からの読み出し画像を、制御部７１からの回転角度だけ回転する。さらに、加工部７２は、回転後の読み出し画像からBM画像を切り出し、出力部３３に供給して、処理は、ステップＳ３５からステップＳ３６に進む。
　ステップＳ３６では、出力部３３は、加工部７２からのBM画像を、BM表示部２１に伝送して表示させる。これにより、BM表示部２１では、BM画像が表示され、表示処理は終了する。
　以上のように、ビューイングシステムの第３の構成例は、ピッチ方向としての前側及び後ろ側への傾き、並びに、ロール方向としての左側及び右側への傾きを表す傾き情報を検出し、その傾き情報に応じて、イメージセンサ３２からの読み出し画像の読み出しを制御する。さらに、ビューイングシステムの第３の構成例では、傾き情報に応じて、読み出し画像の回転を制御し、回転後の読み出し画像からBM画像を切り出す。したがって、ビューイングシステムの第３の構成例によれば、車両１０の運転に適切な画像を容易に提供することができる。すなわち、車両１０が凹凸がある路面に位置している場合に、車両１０が平坦な路面に位置している場合のBM画像と同様の情報量のBM画像を、容易に提供することができる。
　さらに、ビューイングシステムの第３の構成例では、ビューイングシステムの第２の構成例と同様に、読み出し制御において、回転後の読み出し画像からBM画像を切り出すことができる最小のサイズの読み出し画像を、イメージセンサ３２から読み出すことにより、BM画像のフレームレートが低下するおそれを抑制することができる。
　第３の構成例の車両情報としては、サスペンション情報、フロントカメラ画像の例で説明した。ただ、車両情報としては、前述の第1の構成例や、第２の構成例のように、ジャイロ情報、GPS情報と３Dマップ、等を用いてもよい。そして、これらの、ジャイロ情報、GPS情報と３Dマップ等を用いて、車両の傾きを検出するようにしてもよい。
　なお、本技術は、車両１０が位置する路面の状況によって、車両１０が傾く場合の他、車両１０に積載する荷物や、車両１０の搭乗者の状態等によって、車両１０が傾く場合にも適用することができる。すなわち、本技術は、車両１０が傾く原因に関係なく適用することができる。
　＜ビューイングシステムの第４の構成例＞
　図１７は、車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。
　ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。
　カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部１３３、出力部１３４、取得部１３５、及び、制御部１３６を有する。
　光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。
　イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、撮影画像を撮影する。そして、イメージセンサ３２は、制御部１３６の制御に従い、撮影画像から、BM画像及びRV画像を抽出して出力する。イメージセンサ３２が出力するBM画像及びRV画像は、データ量調整部１３３に供給される。
　データ量調整部１３３は、制御部１３６の制御に従い、イメージセンサ３２が出力するBM画像及びRV画像のデータ量を調整し、データ量が調整された後のBM画像及びRV画像を、出力部１３４に供給する。
　出力部１３４は、データ量調整部１３３からのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部１３４からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部１３４からのRV画像が、RV表示部２２の仕様に従って表示される。出力部１３４は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。
　取得部１３５は、車両情報を、車両１０から取得し、制御部１３６に供給する。
　取得部１３５が取得する車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、車両１０の運転者の視線及び頭部の位置、ジャイロ情報等がある。
　走行情報は、車両１０の走行状態を表す情報であり、具体的には、車速や、走行方向（前進又は後進）を表す。車速は、例えば、車両１０が速度センサを搭載している場合には、その速度センサの出力から取得することができる。走行方向は、例えば、トランスミッションの状態から取得することができる。
　BM表示部２１及びRV表示部２２の仕様とは、例えば、BM表示部２１及びRV表示部２２の解像度等であり、BM表示部２１及びRV表示部２２から取得することができる。
　車両１０の運転者の視線及び頭部の位置は、車内カメラ２３で撮影された画像から求めることができる。
　ジャイロ情報とは、車両１０の姿勢（／車両の傾きの角度）を表す情報である。ジャイロ情報は、車両１０がジャイロセンサを搭載している場合には、そのジャイロセンサの出力から求めることができる。ジャイロ情報によれば、車両１０が坂道に位置しているかどうかを認識することができる。
　制御部１３６は、取得部１３５から供給される車両情報に応じて、イメージセンサ３２やデータ量調整部１３３を制御する。
　すなわち、制御部１３６は、車両情報に応じて、例えば、制御部４３と同様の読み出し制御を行うことで、イメージセンサ３２での撮影画像からのBM画像及びRV画像の抽出を制御する抽出制御を行う。BM画像及びRV画像の読出し範囲の一例としては、図４にて図示される範囲である。また、制御部１３６は、車両情報に応じて、データ量調整部１３３でのBM画像及びRV画像のデータ量の調整を制御する調整制御を行う。
　したがって、イメージセンサ３２は、車両情報に応じて、撮影画像から、BM画像及びRV画像を抽出し、データ量調整部１３３は、車両情報に応じて、BM画像及びRV画像のデータ量を調整する、ということができる。
　＜イメージセンサ３２から出力することができる画像＞
　図１８は、イメージセンサ３２から出力することができる画像の例を説明する図である。
　いま、イメージセンサ３２が出力可能な最高解像度の撮影画像を、最高解像度画像ということとする。イメージセンサ３２は、例えば、解像度（画素数）Rmaxの最高解像度画像を、60fps(frame per second)（のフレームレート）以上で出力することができる性能を有することとする。
　ここでは、最高解像度画像から抽出される最高解像度（画素数）のBM画像の解像度RBMが、最高解像度画像の解像度Rmaxの1/2以下であることとする。また、最高解像度画像から抽出される最高解像度のRV画像の解像度RRVが、BM画像の解像度RBM以下であることとする。
　本実施の形態では、例えば、BM画像の解像度RBMとRV画像の解像度RRVとの加算値RBM+RRVとが、最高解像度画像の解像度Rmaxの1/2以下であるとする。この場合、解像度Rmaxで、60fps（以上）の最高解像度画像を出力可能なイメージセンサ３２を用いると、最高解像度画像の一部の部分読み出しにより得られる解像度RBMのBM画像と、解像度RRVのRV画像との両方の画像を、120fpsで出力することができる。
　＜車両１０でデータ伝送に使用することができる車両伝送帯域の例＞
　図１９は、車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。
　すなわち、図１９は、カメラユニット１１がデータ量調整部１３３でのデータ量の調整なしで出力することができるBM画像及びRV画像の例を示している。
　カメラユニット１１は、BM画像として、例えば、解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が（輝度及び色差のそれぞれについて）8ビットのカラー画像を出力することができる。また、カメラユニット１１は、RV画像として、例えば、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのカラー画像を出力することができる。
　解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのBM画像を、最高画質のBM画像と呼び、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのRV画像を、最高画質のRV画像と呼ぶこととする。
　本実施の形態では、カメラユニット１１からデータが伝送される帯域である車両伝送帯域は、例えば、60fpsの最高画質のBM画像を２画面分だけ（リアルタイムで）伝送することができる伝送帯域になっていることとする。本実施の形態では、RBM>=RRVであるので、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によれば、例えば、60fpsの最高画質のRV画像を２画面分を伝送することができる。また、車両伝送帯域によれば、例えば、60fpsの最高画質のBM画像を１画面分と、60fpsの最高画質のRV画像を１画面分との合計で２画面分とを伝送することができる。
　図１８及び図１９で説明したことから、カメラユニット１１は、最高画質のBM画像及びRV画像の両方を、最大120fpsで出力することができる。
　しかしながら、本実施の形態では、車両伝送帯域は、60fpsで、最高画質のBM画像（又はRV画像）の２画面分しか伝送することができない。
　車両伝送帯域を大きくすることにより、カメラユニット１１が出力可能な、120fpsで、最高画質のBM画像及びRV画像の両方を伝送することができるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。
　本技術では、ビューイングシステムが高コスト化することを抑制するため、カメラユニット１１は、BM画像やRV画像のデータ量を適切に調整し、車両伝送帯域内で、BM画像やRV画像を伝送する。
　＜車両伝送帯域が、60fpsで、最高画質のBM画像の２画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
　図２０は、制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。
　図２０のＡは、車両１０が前進している場合、あるいは、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
　この場合、制御部１３６は、解像度RBMで、120fpsのBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、120fpsのBM画像を出力するとともに、RV画像の出力を制限する。
　したがって、この場合、カメラユニット１１からは、解像度RBMで、120fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、120fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
　以上から、車両１０が前進している場合、あるいは、高速で後進している場合には、運転者は、解像度RBMで、120fpsのBM画像、すなわち、高解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
　なお、車両１０が前進している場合、あるいは、高速で後退している場合には、車両１０の後部の直後の画像を含むRV画像は、表示しない。
　また、カメラユニット１１が出力する解像度RBMで、120fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
　ここで、データ量調整部１３３において、画像のデータ量を調整するデータ量調整方法としては、上述のように、画像の出力を制限する（画像を出力しない）方法の他、例えば、解像度（画素数）を小さくする方法や、階調（１画素のビット数）を小さくする方法、フレームレートを小さく方法、所定の圧縮符号化方式で圧縮する方法等がある。
　データ量調整方法の中で、画像の出力の制限、解像度を小さくすること、階調を小さくすること、フレームレートを小さくすることは、データ量調整部１３３に行わせる他、制御部１３６において、イメージセンサ３２の抽出制御等の制御を行うことにより、イメージセンサ３２に行わせることができる。
　すなわち、画像の出力の制限、例えば、RV画像の出力の制限は、制御部１３６において、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２からのデータの読み出しを制御し、画素５１（図７）からの、RV画像となる画素信号の読み出しを行わないことにより行うことができる。制御部１３６は、車両１０が前進している場合、あるいは、高速で後進している場合、車両情報に応じて、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２の抽出制御を行うことができる。もちろん、イメージセンサ３２で制限せずに、データ量調整部１３３においてRV画像の出力の制限を行っても良い。
　画像の解像度を小さくすることは、制御部１３６において、例えば、画素信号を読み出す画素５１を間引くように、又は、いわゆるSF(Source Follower)加算やFD(Floating Diffusion)加算等により、複数の画素５１の画素信号を加算するビニング(Binning)を行うように、イメージセンサ３２を制御することにより行うことができる。
　階調を小さくすることは、制御部１３６において、例えば、AD変換器５５（図７）のAD変換のビット数を小さくするように、イメージセンサ３２を制御することにより行うことができる。
　フレームレートを小さくすることは、制御部１３６において、例えば、画素５１から画素信号を読み出すレートや、AD変換器５５でAD変換を行うレートを小さくするように、イメージセンサ３２を制御することにより行うことができる。
　図２０のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
　この場合、制御部１３６は、解像度RBM未満の解像度RBMMで、120fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、120fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
　したがって、この場合、カメラユニット１１からは、解像度RBMMで、120fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、120fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
　以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、120fpsのBM画像、すなわち、中解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
　なお、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レート（ここでは解像度RBMのBM画像を圧縮せずに120fpsで伝送する場合に必要になる伝送レート）と解像度RBMMを120fpsで伝送する場合に必要となる伝送レート（第1の伝送レート）の差の伝送帯域以下であることとする。この場合、カメラユニット１１が出力する解像度RBMMで、120fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
　ここで、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下ではない場合、データ量調整部１３３では、BM画像及びRV画像の一方又は両方を、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下となるように（解像度RRVMのRV画像が伝送できる程度になるように）圧縮（符号化）することができる。例えば、解像度RBMMで、120fpsのBM画像については、その一部又は全部を圧縮（符号化）することにより、データ量を少なくすることができる。解像度RRVMで、30fpsのRV画像については、カラー画像のまま、又は、白黒画像に変換し、圧縮符号化することにより、データ量を少なくすることができる。
　図２０のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
　この場合、制御部１３６は、解像度RBMで、60fpsのBM画像が出力され、かつ、解像度RRVで、60fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、解像度RRVで、60fpsのRV画像を出力する。
　したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像と、解像度RRVで、60fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVで、60fpsのRV画像が表示される。
　以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVで、60fpsのRV画像、すなわち、高解像度で、中フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
　車両１０が、低速で後進している場合とは、例えば、車両１０を駐車しようとしている場合等であり、運転者から死角となる車両１０の後部の直後の確認が重要である。そのため、車両１０が、低速で後進している場合には、RV画像は、車両１０が高速や中速で後進している場合よりも高解像度かつ高フレームレートで表示される。これにより、死角となる領域の確認と、死角の状況に応じた車両制御が行い易くなる。
　なお、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像、及び、解像度RRVで、60fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
　＜車両伝送帯域が、60fpsで、最高画質のBM画像の１画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
　図２１は、制御部１３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。
　ここで、BM画像及びRV画像のデータ量の調整制御の第２の例では、車両伝送帯域が、例えば、60fps（以上）の最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる伝送帯域になっていることとする。
　図２１のＡは、車両１０が前進している場合、あるいは、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
　この場合、制御部１３６は、解像度RBMで、60fps（以上）のBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、RV画像の出力を制限する。
　したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
　以上から、車両１０が前進している場合、あるいは、高速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
　なお、車両１０が前進している場合、あるいは、高速で後進している場合には、図２０のＡで説明したように、車両１０の後部の直後の画像を含むRV画像は、表示しない。
　また、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
　図２１のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
　この場合、制御部１３６は、解像度RBM未満の解像度RBMMで、60fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
　したがって、この場合、カメラユニット１１からは、解像度RBMMで、60fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
　以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、60fpsのBM画像、すなわち、中解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
　なお、カメラユニット１１が出力する解像度RBMMで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な伝送帯域（以下、必要伝送帯域ともいう）が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、中速用の第１の圧縮率で圧縮することや、RV画像を、カラー画像のまま、又は、白黒画像に変換して、中速用の第１の圧縮率より高圧縮の中速用の第２の圧縮率で圧縮することができる。
　図２１のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
　この場合、制御部１３６は、解像度RBMM未満の解像度RBMLで、60fpsのBM画像が出力され、かつ、解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部１３３の制御としての調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMLで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
　したがって、この場合、カメラユニット１１からは、解像度RBMLで、60fpsのBM画像と、解像度RRVで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMLで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
　以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMLで、60fpsのBM画像、すなわち、低解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
　なお、カメラユニット１１が出力する解像度RBMLで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な必要伝送帯域が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、低速用の第１の圧縮率で圧縮することや、RV画像を、（カラー画像のまま）低速用の第１の圧縮率より高圧縮の低速用の第２の圧縮率で圧縮することができる。
　ここで、低速用の第１の圧縮率としては、中速用の第１の圧縮率よりも高圧縮の圧縮率を採用することができる。中速用の第２の圧縮率、及び、低速用の第２の圧縮率としては、同一の圧縮率を採用することができる。この場合、低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率の関係は、低速用の第２の圧縮率＝中速用の第２の圧縮率＞低速用の第１の圧縮率＞中速用の第１の圧縮となる。但し、ここでは、圧縮率の値が大きいほど、高圧縮であるとする。低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率それぞれでの圧縮後のデータ量の関係は、低速用の第２の圧縮率による圧縮後のデータ量＝中速用の第２の圧縮率による圧縮後のデータ量＜低速用の第１の圧縮率による圧縮後のデータ量＜中速用の第１の圧縮による圧縮後のデータ量となる。
　以上、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像のデータ量を調整する調整制御について説明した。調整制御の方法は、図２０及び図２１で説明した方法に限定されるものではない。すなわち、調整制御の方法は、車両伝送帯域や、イメージセンサ３２の性能、BM表示部２１及びRV表示部２２の仕様等に応じて、適宜設定することができる。データ量は表示されるBM画像の画質やRV画像の画質と関係しているため、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像の画質を変えていると言える。
　また、調整制御において、BM画像及びRV画像の解像度を小さくすることは、BM画像及びRV画像を構成する画素数を少なくすることにより行うこともできるし、BM画像及びRV画像の（不可逆な）圧縮を、画素数を変化させずに行うことにより行うこともできる。
　BM画像及びRV画像を圧縮することにより、BM画像及びRV画像の解像度を小さくする場合、BM画像及びRV画像を圧縮する圧縮率としては、圧縮及び伸張により得られる、高周波成分等の一部の周波数成分が失われたBM画像及びRV画像の実質的な解像度（画像が有する最高の周波数成分）が、図２０や図２１で説明した解像度（画素数）と等価になるような圧縮率を採用することができる。
　＜表示処理＞
　図２２は、図１７のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
　ステップＳ１１１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１１２に進む。
　ステップＳ１１２では、取得部１３５は、車両１０から車両情報を取得し、制御部１３６に供給して、処理は、ステップＳ１１３に進む。
　ステップＳ１１３では、制御部１３６は、取得部１３５からの車両情報に応じて、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部１３６の抽出制御に従い、撮影画像から、BM画像及びRV画像を抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部１３３に供給して、処理は、ステップＳ１１３からステップＳ１１４に進む。
　ステップＳ１１４では、制御部１３６は、取得部１３５からの車両情報に応じて、データ量調整部１３３の調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部１３３は、データ量が調整されたBM画像及びRV画像を、出力部１３４に供給して、処理は、ステップＳ１１４からステップＳ１１５に進む。
　ステップＳ１１５において、出力部１３４は、データ量調整部１３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力し、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送して、処理は、ステップＳ１１６に進む。
　ステップＳ１１６では、BM表示部２１は、出力部１３４からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部１３４からのRV画像を、RV表示部２２の仕様に従って表示する。
　＜ビューイングシステムの第５の構成例＞
　図２３は、車両１０に搭載されたビューイングシステムの第５の構成例を示すブロック図である。
　なお、図中、図１７の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図２３において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部１８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部１３３、出力部１３４、取得部１３５、及び、制御部１８１を有する。
　したがって、図２３のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし取得部１３５を有する点で、図１７の場合と共通する。
　但し、図２３のビューイングシステムは、抽出部１８２が新たに設けられている点、及び、カメラユニット１１において、制御部１３６に代えて、制御部１８１が設けられている点で、図１７の場合と相違する。
　なお、図２３では、抽出部１８２は、カメラユニット１１の外部に設けられているが、カメラユニット１１の内部に設けることができる。
　制御部１８１には、取得部１３５から、車両情報が供給される。車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。但し、この例では、取得部１３５から供給される車両情報には、運転者の視線及び頭部の位置は、含まれない。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部１８２に入力される。
　制御部１８１は、制御部１３６と同様に、取得部１３５からの車両情報に応じて、イメージセンサ３２の抽出制御、及び、データ量調整部１３３の調整制御を行う。
　但し、制御部１８１は、抽出制御において、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する代わりに、領域R11よりサイズが大きい領域を、BM画像として抽出させる。
　したがって、図２３において、出力部１３４が出力するBM画像のサイズは、図１７及び図１２において、出力部１３４が出力するBM画像のサイズよりも大きい。
　図２３において、出力部１３４が出力する領域R11より大きいサイズのBM画像は、抽出部１８２に供給される。
　抽出部１８２には、出力部１３４から領域R11より大きいサイズのBM画像が供給される他、車両情報のうちの、運転者の視線及び頭部の位置が供給される。
　抽出部１８２は、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、出力部１３４からの領域R11より大きいサイズのBM画像の一部の領域、すなわち、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出し、BM表示部２１に供給する。
　＜撮影画像からのBM画像及びRV画像の抽出制御＞
　図２４は、制御部１８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
　図２４は、図４と同様に、光学系３１のイメージサークルと、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）とを示している。
　制御部１８１は、抽出制御において、制御部１３６と同様に、領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
　また、制御部１８１は、抽出制御において、撮像画像から、領域R11ではなく、領域R11のサイズよりも大きいサイズの領域R31を、BM画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
　領域R31は、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動することにより、室内バックミラーによって運転者が見ることができる最大の範囲を包含する領域である。領域R11は、運転者の視線や頭部の位置に応じて位置が変更される可変の領域であるが、領域R31は、固定の領域である。
　抽出部１８２では、以上のような領域R31から、運転者の視線及び頭部の位置のうちの一方又は両方に応じた位置の領域であって、領域R11と同一サイズの領域が、BM表示部２１に表示させる最終的なBM画像として抽出される。すなわち、抽出部１８２では、領域R31から、車両１０に室内バックミラーが設置されていたならば、運転者が、その室内バックミラーによって観察するであろう領域R11が、BM画像として抽出される。
　＜表示処理＞
　図２５は、図２３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
　ステップＳ１２１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１２２に進む。
　ステップＳ１２２では、取得部１３５は、車両１０から車両情報を取得し、制御部１３６に供給して、処理は、ステップＳ１２３に進む。
　ステップＳ１２３では、制御部１３６は、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部１３６の抽出制御に従い、図２４で説明したように、撮影画像から、領域R31及びR12を、BM画像及びRV画像としてそれぞれ抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部１３３に供給して、処理は、ステップＳ１２３からステップＳ１２４に進む。
　ステップＳ１２４では、制御部１３６は、取得部１３５からの車両情報に応じて、データ量調整部１３３の調整制御を行う。データ量調整部１３３は、制御部１３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部１３３は、データ量が調整されたBM画像及びRV画像を、出力部１３４に供給して、処理は、ステップＳ１２４からステップＳ１２５に進む。
　ステップＳ１２５において、出力部１３４は、データ量調整部１３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力して、処理は、ステップＳ１２６に進む。これにより、図２３では、BM画像は、抽出部１８２に供給され、RV画像は、RV表示部２２に伝送される。
　ステップＳ１２６では、抽出部１８２は、車両１０から、車両情報に含まれる運転者の視線及び頭部の位置を取得し、処理は、ステップＳ１２７に進む。
　ステップＳ１２７では、抽出部１８２は、出力部１３４からのBM画像から、運転者の視線及び頭部の位置に応じた位置の、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出する。そして、抽出部１８２は、最終的なBM画像を、BM表示部２１に伝送して、処理は、ステップＳ１２７からステップＳ１２８に進む。
　ステップＳ１２８では、BM表示部２１は、抽出部１８２からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部１３４からのRV画像を、RV表示部２２の仕様に従って表示する。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図２６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　車両の表示部に表示される画像を撮影するイメージセンサと、
　前記車両で取得される車両情報に基づいて、前記イメージセンサからの画像の読み出しを制御する制御部と
　を備える撮影装置。
　＜２＞
　前記車両情報を用いて、前記車両の傾き情報を検出する検出部をさらに備え、
　前記制御部は前記傾き情報に応じて、イメージセンサからの画像の読出しを制御する
　＜１＞に記載の撮影装置。
　＜３＞
　前記検出部は、前記車両の前側及び後ろ側への傾きを表す前記傾き情報を検出する
　＜２＞に記載の撮影装置。
　＜４＞
　前記検出部は、前記車両の左側及び右側への傾きを表す前記傾き情報を検出する
　＜２＞に記載の撮影装置。
　＜５＞
　前記検出部は、前記車両の前側及び後ろ側への傾きと、前記車両の左側及び右側への傾きとを表す前記傾き情報を検出する
　＜２＞に記載の撮影装置。
　＜６＞
　前記制御部は、前記イメージセンサにおいて画像が読み出される読み出し位置を制御する
　＜１＞ないし＜５＞のいずれかに記載の撮影装置。
　＜７＞
　前記読み出し位置は、前記イメージセンサにおいて画像の読み出しが開始される読み出し開始位置と、前記イメージセンサにおいて読み出される画像のサイズとで指定される
　＜６＞に記載の撮影装置。
　＜８＞
　前記制御部は、前記表示部に表示される画像に写る路面の比率が所定の比率に維持されるように、前記イメージセンサからの画像の読み出しを制御する
　＜１＞ないし＜７＞のいずれかに記載の撮影装置。
　＜９＞
　前記イメージセンサから読み出された画像の回転、及び、回転後の画像からの、前記表示部に表示する画像の切り出しを行う加工部をさらに備える
　＜１＞ないし＜８＞のいずれかに記載の撮影装置。
　＜１０＞
　前記制御部は、前記画像の回転を制御する
　＜９＞に記載の撮影装置。
　＜１１＞
　前記制御部は、前記車両の傾き情報に応じて、前記画像の回転の回転角度を算出し、その回転角度だけ、前記画像を回転させるように、前記画像の回転を制御する
　＜１０＞に記載の撮影装置。
　＜１２＞
　前記車両情報は、前記車両が有するジャイロから得られるジャイロ情報、前記車両のサスペンションに関するサスペンション情報、前記車両の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPSから得られるGPS情報のうちの１以上である
　＜１＞ないし＜１１＞のいずれかに記載の撮影装置。
　＜１３＞
　前記表示部は、クラスIミラーの代替となる表示部である
　＜１＞ないし＜１２＞のいずれかに記載の撮影装置。
　＜１４＞
　車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御ステップを備える
　制御方法。
　＜１５＞
　車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御部
　として、コンピュータを機能させるためのプログラム。
　＜１６＞
　前記車両情報を用いて、前記車両の傾き情報を検出する検出ステップをさらに備え、
　前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
　ことを特徴とする＜１４＞に記載の制御方法。
　＜１７＞
　前記車両情報を用いて、前記車両の傾き情報を検出する検出部として、さらにコンピュータを機能させるプログラムであり、
　前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
　ことを特徴とする＜１５＞に記載のプログラム。
　＜１８＞
　前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
　＜１＞ないし＜１３＞のいずれかに記載の撮影装置。
　＜１９＞
　前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
　＜１４＞又は＜１６＞に記載の制御方法。
　＜２０＞
　前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
　＜１５＞又は＜１７＞に記載のプログラム。
　１０　車両，　１１　カメラユニット，　２１　BM表示部，　２２　RV表示部，　２３　車内カメラ，　３１　光学系，　３２　イメージセンサ，　３３　出力部，　４１　取得部，　４２　検出部，　４３　制御部，　５１　画素アレイ，　５２　入力回路，　５３　行選択回路，　５４　列選択回路，　５５　AD変換器，　５６　ラインバッファ，　５７　出力回路，　６１　画素，　７１　制御部，　７２　加工部，　１３３　データ量調整部，　１３４　出力部，　１３５　取得部，　１３６　制御部，　１８１　制御部，　１８２　抽出部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (20)

  1. 　車両の表示部に表示される画像を撮影するイメージセンサと、
    　前記車両で取得される車両情報に基づいて、前記イメージセンサからの画像の読み出しを制御する制御部と
    　を備える撮影装置。
  2. 　前記車両情報を用いて、前記車両の傾き情報を検出する検出部をさらに備え、
    　前記制御部は前記傾き情報に応じて、イメージセンサからの画像の読出しを制御する
    　請求項１に記載の撮影装置。
  3. 　前記検出部は、前記車両の前側及び後ろ側への傾きを表す前記傾き情報を検出する
    　請求項２に記載の撮影装置。
  4. 　前記検出部は、前記車両の左側及び右側への傾きを表す前記傾き情報を検出する
    　請求項２に記載の撮影装置。
  5. 　前記検出部は、前記車両の前側及び後ろ側への傾きと、前記車両の左側及び右側への傾きとを表す前記傾き情報を検出する
    　請求項２に記載の撮影装置。
  6. 　前記制御部は、前記イメージセンサにおいて画像が読み出される読み出し位置を制御する
    　請求項１に記載の撮影装置。
  7. 　前記読み出し位置は、前記イメージセンサにおいて画像の読み出しが開始される読み出し開始位置と、前記イメージセンサにおいて読み出される画像のサイズとで指定される
    　請求項６に記載の撮影装置。
  8. 　前記制御部は、前記表示部に表示される画像に写る路面の比率が所定の比率に維持されるように、前記イメージセンサからの画像の読み出しを制御する
    　請求項１に記載の撮影装置。
  9. 　前記イメージセンサから読み出された画像の回転、及び、回転後の画像からの、前記表示部に表示する画像の切り出しを行う加工部をさらに備える
    　請求項１に記載の撮影装置。
  10. 　前記制御部は、前記画像の回転を制御する
    　請求項９に記載の撮影装置。
  11. 　前記制御部は、前記車両の傾き情報に応じて、前記画像の回転の回転角度を算出し、その回転角度だけ、前記画像を回転させるように、前記画像の回転を制御する
    　請求項１０に記載の撮影装置。
  12. 　前記車両情報は、前記車両が有するジャイロから得られるジャイロ情報、前記車両のサスペンションに関するサスペンション情報、前記車両の前方を撮影するフロントカメラから得られるフロントカメラ画像、及び、GPSから得られるGPS情報のうちの１以上である
    　請求項１に記載の撮影装置。
  13. 　前記表示部は、クラスIミラーの代替となる表示部である
    　請求項１に記載の撮影装置。
  14. 　車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御ステップを備える
    　制御方法。
  15. 　車両で取得される車両情報に基づいて、前記車両の表示部に表示される画像を撮影するイメージセンサからの画像の読み出しを制御する制御部
    　として、コンピュータを機能させるためのプログラム。
  16. 　前記車両情報を用いて、前記車両の傾き情報を検出する検出ステップをさらに備え、
    　前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
    　ことを特徴とする請求項１４に記載の制御方法。
  17. 　前記車両情報を用いて、前記車両の傾き情報を検出する検出部として、さらにコンピュータを機能させるプログラムであり、
    　前記イメージセンサからの画像の読出しの制御は前記傾き情報に応じてなされる
    　ことを特徴とする請求項１５に記載のプログラム。
  18. 　前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
    　請求項１に記載の撮影装置。
  19. 　前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
    　請求項１４に記載の制御方法。
  20. 　前記車両情報は、車両の速度情報とギア情報の少なくとも一つを含む
    　請求項１５に記載のプログラム。
PCT/JP2019/041037 2018-10-31 2019-10-18 撮影装置、制御方法、及び、プログラム WO2020090512A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201980070029.8A CN112956183B (zh) 2018-10-31 2019-10-18 图像拍摄设备、控制方法和记录程序的介质
EP19879266.5A EP3876515A4 (en) 2018-10-31 2019-10-18 IMAGING DEVICE, CONTROL PROCESS, AND PROGRAM
US17/288,432 US20210400209A1 (en) 2018-10-31 2019-10-18 Image-capturing apparatus, control method, and program
JP2020553781A JP7342024B2 (ja) 2018-10-31 2019-10-18 撮影装置、制御方法、及び、プログラム
KR1020217010721A KR20210083256A (ko) 2018-10-31 2019-10-18 촬영 장치, 제어 방법 및 프로그램

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-204836 2018-10-31
JP2018204836 2018-10-31
JP2019-039216 2019-03-05
JP2019039216 2019-03-05

Publications (1)

Publication Number Publication Date
WO2020090512A1 true WO2020090512A1 (ja) 2020-05-07

Family

ID=70463134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041037 WO2020090512A1 (ja) 2018-10-31 2019-10-18 撮影装置、制御方法、及び、プログラム

Country Status (6)

Country Link
US (1) US20210400209A1 (ja)
EP (1) EP3876515A4 (ja)
JP (1) JP7342024B2 (ja)
KR (1) KR20210083256A (ja)
CN (1) CN112956183B (ja)
WO (1) WO2020090512A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114655136A (zh) * 2020-12-23 2022-06-24 丰田自动车株式会社 车辆控制系统、车辆控制方法、控制装置以及存储介质
WO2023006832A1 (en) * 2021-07-28 2023-02-02 Motherson Innovations Company Ltd. Camera monitor system, vehicle therewith and method for adjusting the same

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3876516A4 (en) 2018-10-31 2021-12-15 Sony Group Corporation PHOTOGRAPHING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6245274B2 (ja) 1979-03-24 1987-09-25 Nippon Steel Corp
JP2006254318A (ja) * 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018012439A (ja) * 2016-07-21 2018-01-25 株式会社富士通ゼネラル 後方視界補助装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1637836A1 (en) * 2003-05-29 2006-03-22 Olympus Corporation Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
JP4391315B2 (ja) * 2004-05-10 2009-12-24 浜松ホトニクス株式会社 撮像システムおよび撮像方法
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
JP5451497B2 (ja) * 2010-04-08 2014-03-26 パナソニック株式会社 運転支援表示装置
JP5316550B2 (ja) * 2011-01-05 2013-10-16 株式会社デンソー 後方視界支援システム
JP6245274B2 (ja) * 2013-12-03 2017-12-13 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
KR102135427B1 (ko) * 2015-06-22 2020-07-17 젠텍스 코포레이션 진폭-변조된 광의 깜박임을 보정하기 위해 스트리밍된 비디오 이미지를 처리하는 시스템 및 방법
JP6551336B2 (ja) * 2016-08-12 2019-07-31 株式会社デンソー 周辺監査装置
US10492297B2 (en) * 2017-02-22 2019-11-26 Xerox Corporation Hybrid nanosilver/liquid metal ink composition and uses thereof
WO2018170353A1 (en) * 2017-03-17 2018-09-20 Gentex Corporation Dual display reverse camera system
US10392013B2 (en) * 2017-09-30 2019-08-27 A-Hamid Hakki Collision detection and avoidance system
KR102470298B1 (ko) * 2017-12-01 2022-11-25 엘지이노텍 주식회사 카메라 보정 방법 및 장치
JP7280006B2 (ja) * 2019-08-06 2023-05-23 アルパイン株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6245274B2 (ja) 1979-03-24 1987-09-25 Nippon Steel Corp
JP2006254318A (ja) * 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018012439A (ja) * 2016-07-21 2018-01-25 株式会社富士通ゼネラル 後方視界補助装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114655136A (zh) * 2020-12-23 2022-06-24 丰田自动车株式会社 车辆控制系统、车辆控制方法、控制装置以及存储介质
KR20220091343A (ko) * 2020-12-23 2022-06-30 도요타지도샤가부시키가이샤 차량 제어 시스템, 차량 제어 방법, 제어 장치, 및 비일시적인 기억 매체
EP4020968A3 (en) * 2020-12-23 2022-09-14 Toyota Jidosha Kabushiki Kaisha Vehicle control system, vehicle control method, controller, and non-transitory storage medium
US11750923B2 (en) 2020-12-23 2023-09-05 Toyota Jidosha Kabushiki Kaisha Vehicle control system, vehicle control method, controller, and non-transitory storage medium
KR102618802B1 (ko) * 2020-12-23 2023-12-29 도요타지도샤가부시키가이샤 차량 제어 시스템, 차량 제어 방법, 제어 장치, 및 비일시적인 기억 매체
CN114655136B (zh) * 2020-12-23 2024-02-20 丰田自动车株式会社 车辆控制系统、车辆控制方法、控制装置以及存储介质
WO2023006832A1 (en) * 2021-07-28 2023-02-02 Motherson Innovations Company Ltd. Camera monitor system, vehicle therewith and method for adjusting the same

Also Published As

Publication number Publication date
CN112956183A (zh) 2021-06-11
JP7342024B2 (ja) 2023-09-11
US20210400209A1 (en) 2021-12-23
CN112956183B (zh) 2024-03-12
EP3876515A4 (en) 2021-12-22
KR20210083256A (ko) 2021-07-06
JPWO2020090512A1 (ja) 2021-10-07
EP3876515A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
CA2957047C (en) Active window for vehicle infomatics and virtual reality
KR102343651B1 (ko) 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법
WO2020090512A1 (ja) 撮影装置、制御方法、及び、プログラム
US20190124277A1 (en) Shooting control apparatus and shooting control method as well as shooting apparatus
WO2018025660A1 (ja) 画像処理装置および画像処理方法
JP7282798B2 (ja) 撮影装置、画像処理方法、及び、プログラム
US20200007845A1 (en) Image processing apparatus and image processing method
KR20190034199A (ko) 화상 처리 장치 및 화상 처리 방법
KR20190034200A (ko) 화상 처리 장치 및 화상 처리 방법
WO2018021071A1 (ja) 画像処理装置および画像処理方法
US20130176436A1 (en) Image Capturing Device Applied in Vehicle and Image Superimposition Method Thereof
WO2018021066A1 (ja) 画像処理装置および画像処理方法
KR20190034525A (ko) 화상 처리 장치 및 화상 처리 방법
KR102253163B1 (ko) 차량
KR20130017497A (ko) 차량용 블랙박스 시스템 및 그 구동방법
US20220408062A1 (en) Display control apparatus, display control method, and program
KR102300651B1 (ko) 차량 및 그 제어 방법
JP6977725B2 (ja) 画像処理装置および画像処理方法
JP7459608B2 (ja) 表示制御装置、表示制御方法およびプログラム
JP7459607B2 (ja) 表示制御装置、表示制御方法およびプログラム
WO2022107235A1 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP2020145612A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19879266

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553781

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019879266

Country of ref document: EP

Effective date: 20210531