WO2020090511A1 - 撮影装置、画像処理方法、及び、プログラム - Google Patents

撮影装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
WO2020090511A1
WO2020090511A1 PCT/JP2019/041036 JP2019041036W WO2020090511A1 WO 2020090511 A1 WO2020090511 A1 WO 2020090511A1 JP 2019041036 W JP2019041036 W JP 2019041036W WO 2020090511 A1 WO2020090511 A1 WO 2020090511A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
unit
control
display unit
Prior art date
Application number
PCT/JP2019/041036
Other languages
English (en)
French (fr)
Inventor
山中　剛
卓也 山口
泰宏 湯川
Original Assignee
ソニー株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニー株式会社
Priority to JP2020553780A priority Critical patent/JP7282798B2/ja
Priority to US17/288,428 priority patent/US11722645B2/en
Priority to EP19880646.5A priority patent/EP3876516A4/en
Priority to CN201980070024.5A priority patent/CN113039778B/zh
Publication of WO2020090511A1 publication Critical patent/WO2020090511A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • the present technology relates to an imaging device, an image processing method, and a program, and particularly relates to, for example, an imaging device, an image processing method, and a program that can suppress cost increase.
  • a viewing system has been proposed in which a camera as an image capturing device is installed at the rear of the vehicle and an image of the rear of the vehicle captured by the camera is displayed.
  • the images provided by the viewing system that show the rear of the vehicle include an image that shows the rear from the rear of the vehicle and an image that shows the rear of the vehicle.
  • the image of the rear of the vehicle immediately behind the rear is, for example, an image corresponding to the image of a class I mirror called a so-called interior rearview mirror (room mirror), and is also referred to as a BM (Back Mirror) image below. ..
  • the image of the rear part of the vehicle immediately behind is an image of the rear part of the vehicle and its immediate rear, and is also referred to as an RV (Rear View) image below.
  • BM and RV images the specifications required for shooting, that is, the angle of view and the direction of the optical axis are different, so the BM and RV images are taken using different cameras. Therefore, when displaying the BM image and the RV image in the viewing system, it is necessary to provide two cameras, a camera for capturing the BM image and a camera for capturing the RV image, at the rear of the vehicle.
  • Patent Document 1 describes a camera that changes the angle of view and the direction of the optical axis by PTZ (Pan, Tilt, Zoom) operation.
  • PTZ Pan, Tilt, Zoom
  • the present technology has been made in view of such a situation, and makes it possible to suppress cost increase.
  • the image capturing device or the program according to the present technology includes an image sensor for capturing an image, a first image displayed on the first display unit, and a second display unit based on a captured image captured by the image sensor.
  • a control unit that performs extraction control that extracts the displayed second image, and a data amount adjustment that adjusts the data amounts of the first image and the second image according to vehicle information acquired from the vehicle.
  • a program for causing a computer to function as such an image capturing apparatus.
  • the image processing method of the present technology includes a first image displayed on the first display unit and a second image displayed on the second display unit, from a captured image captured by an image sensor that captures images.
  • an image processing method including: performing extraction control for extracting the data; and adjusting the data amounts of the first image and the second image according to vehicle information acquired from the vehicle.
  • the first image displayed on the first display unit and the second image displayed on the first display unit from the image captured by the image sensor that performs the image capturing. Extraction control is performed to extract the displayed second image. Then, the data amounts of the first image and the second image are adjusted according to the vehicle information acquired from the vehicle.
  • the image capturing device may be an independent device, or may be an internal block that constitutes one device.
  • the program can be provided by transmitting it via a transmission medium or by recording it on a recording medium.
  • FIG. 1 is a block diagram showing a first configuration example of a viewing system mounted on a vehicle 10.
  • FIG. 6 is a diagram illustrating an example of control of extraction of a BM image and an RV image from a captured image by a control unit 36. It is a figure explaining the extraction control of the BM image (region R11 there) according to gyro information. It is a figure which shows the structural example of the image sensor 32.
  • FIG. 6 is a diagram illustrating an example of an image that can be output from the image sensor 32.
  • FIG. 3 is a diagram illustrating an example of a vehicle transmission band that can be used for data transmission in vehicle 10.
  • FIG. 6 is a diagram illustrating a first example of adjustment control of data amounts of BM images and RV images by a control unit 36.
  • FIG. 8 is a diagram illustrating a second example of control of adjusting the data amounts of BM images and RV images by the control unit 36.
  • 9 is a flowchart illustrating an example of display processing for displaying a BM image and an RV image performed by the viewing system. 6 is a block diagram showing a second configuration example of a viewing system mounted on the vehicle 10.
  • FIG. FIG. 9 is a block diagram showing a third configuration example of a viewing system mounted on vehicle 10.
  • FIG. 9 is a diagram illustrating an example of control of extracting a BM image and an RV image from a captured image by a control unit 81.
  • 9 is a flowchart illustrating an example of display processing for displaying a BM image and an RV image performed by the viewing system.
  • 9 is a block diagram showing a fourth configuration example of the viewing system mounted on the vehicle 10.
  • FIG. FIG. 19 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a perspective view showing an external configuration example of a vehicle 10 equipped with a viewing system to which the present technology is applied.
  • one camera unit 11 as an image capturing device for capturing the rear of the vehicle 10 is installed in the rear part.
  • the camera unit 11 is installed above the rear glass of the vehicle 10.
  • the camera unit 11 has a wide-angle view so that an image showing both the range of the BM image (first image) and the range of the RV image (second image) can be taken as one image. It is a camera unit. Further, the camera unit 11 is a high resolution camera unit so that a distant subject can be clearly seen in the BM image. Therefore, the camera unit 11 can capture a wide-angle and high-resolution image.
  • a BM image and an RV image are extracted from an image captured by the camera unit 11 (hereinafter, also referred to as a captured image).
  • the vehicle 10 had an interior rearview mirror (a rearview mirror, Class I mirror in Regulation No.46 defined by the United Nations Economic Commission for Europe ⁇ UN / ECE>) installed, The image of the state behind the rear of the vehicle 10 that can be observed is included, and the RV image includes the image of the rear of the vehicle 10 and the state immediately after (the rear of) the vehicle 10.
  • the camera unit 11 is installed with its optical axis direction adjusted.
  • the BM image is an image that can be observed with the interior rearview mirror, showing a state behind the rear portion of the rear portion of the vehicle 10.
  • the RV image is an image showing the rear part of the vehicle 10 and the state immediately after that.
  • the RV image is particularly useful when the vehicle 10 is moving backward, because the rear part of the vehicle 10, which is a blind spot in the interior rearview mirror, is captured in the RV image.
  • the RV image can be used to generate an overhead view image of the vehicle 10 viewed from above.
  • the position where the camera unit 11 is installed is not limited to the upper part of the rear glass of the vehicle 10 as long as it is possible to capture a captured image capable of extracting the BM image and the RV image as described above.
  • the camera unit 11 can be installed not only on the upper part of the rear glass of the vehicle 10 but also on the position P11 or the like on the upper part of the license plate on the rear part of the vehicle 10.
  • FIG. 2 is a perspective view showing a configuration example inside the vehicle 10 of FIG.
  • a BM display unit 21 that displays a BM image is provided at a position where an interior rearview mirror is installed inside the vehicle 10.
  • the BM display unit 21 is a display unit that is an alternative to the interior rearview mirror.
  • An RV display unit 22 for displaying an RV image is provided at the center position of the dashboard inside the vehicle 10.
  • an in-vehicle camera 23 that takes an image of the driver is provided on the driver side of the dashboard inside the vehicle 10.
  • the in-vehicle camera 23 captures an image of the driver and outputs an image of the driver.
  • the driver's line of sight and the position of the head are detected from the image of the driver.
  • the in-vehicle camera 23 for photographing the driver can be provided at any position other than the dashboard, for example, the position P21 above the BM display unit 21.
  • FIG. 3 is a block diagram showing a first configuration example of the viewing system mounted on the vehicle 10.
  • the viewing system has the camera unit 11, the BM display unit 21, and the RV display unit 22 described in FIGS. 1 and 2.
  • the camera unit 11 has an optical system 31, an image sensor 32, a data amount adjustment unit 33, an output unit 34, an acquisition unit 35, and a control unit 36.
  • the optical system 31 is composed of optical components such as a condenser lens and a diaphragm, and focuses the light incident on the optical system 31 on the image sensor 32.
  • the image sensor 32 receives light from the optical system 31 and performs photoelectric conversion to capture a captured image. Then, the image sensor 32 extracts the BM image and the RV image from the captured image and outputs them under the control of the control unit 36. The BM image and RV image output by the image sensor 32 are supplied to the data amount adjustment unit 33.
  • the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image output by the image sensor 32 according to the control of the control unit 36, and outputs the BM image and the RV image after the data amount is adjusted to the output unit 34. Supply to.
  • the output unit 34 is an output IF (Interface) that transmits the BM image and the RV image from the data amount adjustment unit 33 to the outside of the camera unit 11, and transmits the BM image to the BM display unit 21 and the RV image. Is transmitted to the RV display unit 22.
  • the BM display unit 21 displays the BM image from the output unit 34 according to the specifications of the BM display unit 21, and the RV display unit 22 displays the RV image from the output unit 34 according to the specifications of the RV display unit 22. ..
  • the output unit 34 can perform format conversion of the BM image and the RV image and other image processing as necessary.
  • the acquisition unit 35 acquires information that can be acquired from the vehicle 10 (hereinafter also referred to as vehicle information) from the vehicle 10 and supplies it to the control unit 36.
  • the vehicle information includes, for example, driving information, specifications of the BM display unit 21 and the RV display unit 22, the line of sight and head position of the driver of the vehicle 10, gyro information, and the like.
  • the traveling information is information indicating the traveling state of the vehicle 10, and specifically, the vehicle speed and the traveling direction (forward or backward).
  • the vehicle speed can be acquired from the output of the speed sensor, for example, when the vehicle 10 has a speed sensor.
  • the traveling direction can be acquired from the state of the transmission, for example.
  • the specifications of the BM display unit 21 and the RV display unit 22 are, for example, the resolution of the BM display unit 21 and the RV display unit 22, and can be acquired from the BM display unit 21 and the RV display unit 22.
  • the line of sight and the position of the head of the driver of the vehicle 10 can be obtained from the image taken by the in-vehicle camera 23.
  • the gyro information is information indicating the attitude of the vehicle 10 (/ the angle of inclination of the vehicle). If the vehicle 10 is equipped with a gyro sensor, the gyro information can be obtained from the output of the gyro sensor. According to the gyro information, it is possible to recognize whether or not the vehicle 10 is located on a slope.
  • the control unit 36 controls the image sensor 32 and the data amount adjustment unit 33 according to the vehicle information supplied from the acquisition unit 35.
  • control unit 36 performs extraction control for controlling the extraction of the BM image and the RV image from the image captured by the image sensor 32 according to the vehicle information. Further, the control unit 36 performs adjustment control for controlling the adjustment of the data amount of the BM image and the RV image in the data amount adjustment unit 33 according to the vehicle information.
  • the image sensor 32 extracts the BM image and the RV image from the captured image according to the vehicle information, and the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image according to the vehicle information. Can be said.
  • FIG. 4 is a diagram illustrating an example of control of extracting the BM image and the RV image from the captured image by the control unit 36.
  • the optical system 31 and the captured image captured by the image sensor 32 include, for example, as shown in FIG. 4, the captured image (the light receiving surface of the image sensor 32) includes the image circle of (the lens forming the optical system 31).
  • the positional relationship is such that
  • the control unit 36 determines, in the extraction control, a predetermined area in which the rear portion of the vehicle 10 is seen immediately after the rear portion of the vehicle 10 (if an interior rearview mirror is installed in the vehicle 10, an area observed by the interior rearview mirror). ) Readout of data (pixel signal) from the image sensor 32 is controlled so that R11 is extracted as a BM image.
  • the control unit 36 extracts a predetermined region R12 in which the rear part of the vehicle 10 and its immediate rear part are extracted as an RV image from the captured image (of which is the image within the image circle). It controls the reading of data from the image sensor 32.
  • the image sensor 32 reads out the data (pixel signal) of the region R11 to be (the data of) the BM image from the photographed image obtained by photographing, and the data of the region R12 to be the RV image. read out.
  • the sizes of the regions R11 and R12 can be set according to the specifications of the BM display unit 21 and the RV display unit 22.
  • control unit 36 determines (the position of) the region R11 to be extracted as a BM image according to one or both of the driver's line of sight and the position of the head included in the vehicle information. Control.
  • the control unit 36 controls the extraction of the BM image so that the driver can see the BM image showing the same range as the image that can be observed when the interior rearview mirror is installed in the vehicle 10. In, the position of the region R11 extracted as the BM image is changed according to the driver's line of sight and the position of the head.
  • control unit 36 can control the region R11 to be extracted as a BM image according to the gyro information included in the vehicle information.
  • FIG. 5 is a diagram for explaining the extraction control of the BM image (the area R11 therefor) according to the gyro information.
  • the BM range the range of the three-dimensional space shown in the BM image.
  • the driver's line of sight and the position of the head are fixed. Therefore, here, it is assumed that there is no change in (the position of) the region R11 extracted as a BM image from the captured image, and by extension, the BM range due to the driver moving the line of sight or the position of the head.
  • the BM image includes an object located behind the vehicle 10 by a predetermined distance.
  • the BM range does not change, but the optical axis of the camera unit 11 installed at the rear of the vehicle 10 is more than that when the vehicle 10 is located on a flat road. Also leans downward (road side).
  • an object that is in the BM range and is a certain distance behind the vehicle 10 in the BM image is located on an uphill road. If it is, it will not be included in the BM image and will not be included in the BM image. That is, an object that is behind the vehicle 10 by a predetermined distance appears in the BM image when the vehicle 10 is located on a flat road, but when the vehicle 10 is located on an uphill road. Disappears in the BM image.
  • the rear area on the road where the driver of the vehicle 10 can confirm by looking at the BM image is located on a flat road. It is narrower than the case.
  • control unit 36 can control the region R11 to be extracted as a BM image according to the gyro information included in the vehicle information.
  • control unit 36 can change the position of the region R11 extracted as the BM image to the upper position in the captured image as the front of the vehicle 10 is inclined upward.
  • the control unit 36 can change the position of the region R11 extracted as the BM image to the lower position in the captured image according to the gyro information. it can.
  • FIG. 6 is a diagram showing a configuration example of the image sensor 32 of FIG.
  • the image sensor 32 includes a plurality of pixels 51, an AD (Analog to Digital) converter, and a line memory 53.
  • AD Analog to Digital
  • a plurality of pixels 51 are arranged on a two-dimensional plane.
  • the plurality of pixels 51 are arranged in a grid pattern.
  • a VSL Very Signal Line
  • the pixel 51 converts the light incident thereon into a pixel signal as an electric signal according to the light amount of the light.
  • the pixel signal is read from the pixel 51 and output to the VSL wired in the column of the pixel 51.
  • the AD conversion unit 52 has, for example, for each column of pixels 51 arranged in a grid, an ADC (AD Converter) (not shown) in charge of AD conversion of pixel signals of the pixels 51 of the column.
  • the ADC of each column is connected to the VSL wired in the column, and performs AD conversion of the pixel signal read from the pixel 51 connected to the VSL.
  • the pixel signal after AD conversion by the ADC of each column of the AD conversion unit 52 is supplied to the line memory 53.
  • the line memory 53 stores the pixel signals of the pixels 51 for one row at the maximum, which are supplied from the AD conversion unit 52, and sequentially transfers the pixel signals of the pixels 51 for one row at a maximum, Output to the outside of the image sensor 32.
  • the pixel 51 on the y-th row from the top and the x-th column from the left, and the pixel signal obtained by the pixel 51 are also referred to as a pixel yx and a pixel signal yx, respectively, as appropriate. ..
  • the picked-up image is an image composed of pixel signals obtained by all the pixels (effective pixels) 51 on the light-receiving surface of the image sensor 32.
  • the picked-up image is output by the image sensor 32, for example, the top row a Pixel signals are read from the pixels 51 of 1 to 1 in units of one row toward the lower row.
  • the pixel signals of the pixels 51 in one row are supplied to the AD conversion unit 52 via VSL.
  • the pixel signals of the pixels 51 in one row are simultaneously AD-converted, and the pixel signals after AD conversion are supplied to and stored in the line memory 53.
  • the pixel signals of the pixels 51 in one row supplied from the AD conversion unit 52 are stored, and sequentially transferred in the row direction, and read out to the outside of the image sensor 32.
  • a captured image (pixel signal of) of one screen is read out to the outside of the image sensor 32.
  • the BM image and the RV image are partial areas (images) of the captured image, it is not necessary to read the entire captured image from the image sensor 32 when obtaining the BM image and the RV image. It is sufficient to read only a part (pixel signals of) of the BM image and the RV image.
  • reading the entire captured image from the image sensor 32 is also called full reading, and reading a part of the captured image is also called partial reading.
  • control unit 36 in the extraction control that controls the reading of data from the image sensor 32 so as to extract the BM image and the RV image from the captured image, the image sensor 32 is controlled so as to perform the partial reading.
  • the region R11 to be the BM image is composed of the pixels 51 from the 1st column to the 5th column among the pixels 51 from the dth row to the hth row, as shown in FIG.
  • the image sensor 32 is controlled so as to read the pixel signals of the pixels 51 from the 1st column to the 5th column of the pixels 51 from the dth row to the hth row.
  • the pixel signals of the pixels 51 on the d-th row are read out, AD-converted by the AD converter 52, and supplied to the line memory 53.
  • the line memory 53 stores the pixel signals after AD conversion of the pixels 51 on the d-th row. Then, in the line memory 53, pixel signals d1, d2, d3, d4, d5 of the pixels 51 of the 1st row to the 5th row of the pixels 51 of the d row are sequentially transferred and read to the outside of the image sensor 32. ..
  • the pixel signal of the pixel 51 of the next e row is AD-converted.
  • pixel signals of the pixels 51 from the 1st column to the 5th column of the pixels 51 from the dth row to the hth row are similarly read out to the outside of the image sensor 32.
  • the image sensor 32 can extract the BM image and the RV image from the captured image by partial reading.
  • the AD conversion method of the AD conversion unit 52 a column parallel AD conversion method in which one ADC takes charge of AD conversion of pixel signals of the pixels 51 in one column is adopted.
  • the AD conversion method is not limited to the column parallel AD conversion method.
  • an area AD conversion method in which one ADC is in charge of AD conversion of pixel signals of pixels 51 in an area composed of one pixel or a plurality of pixels is adopted. can do.
  • FIG. 7 is a diagram illustrating an example of an image that can be output from the image sensor 32.
  • the highest resolution captured image that the image sensor 32 can output is referred to as the highest resolution image.
  • the image sensor 32 is assumed to have a performance capable of outputting the highest resolution image having a resolution (number of pixels) Rmax at (frame rate of) 60 fps (frame per second) or more, for example.
  • the resolution RBM of the highest resolution (number of pixels) BM image extracted from the highest resolution image is 1/2 or less of the resolution Rmax of the highest resolution image.
  • the resolution RRV of the highest resolution RV image extracted from the highest resolution image is less than or equal to the resolution RBM of the BM image.
  • the sum RBM + RRV of the resolution RBM of the BM image and the resolution RRV of the RV image is 1/2 or less of the resolution Rmax of the highest resolution image.
  • the image sensor 32 capable of outputting the highest resolution image of 60 fps (or more) at the resolution Rmax is used, the BM image of the resolution RBM and the RV image of the resolution RRV obtained by partially reading out the highest resolution image. Both images can be output at 120fps.
  • FIG. 8 is a diagram illustrating an example of a vehicle transmission band that can be used for data transmission in the vehicle 10.
  • FIG. 8 shows an example of the BM image and the RV image that the camera unit 11 can output without adjusting the data amount in the data amount adjusting unit 33.
  • the camera unit 11 can output, as a BM image, for example, a color image having a resolution of RBM, a YUV of 4: 2: 2 format, and a bit number of 1 pixel (for each of luminance and color difference) of 8 bits. ..
  • the camera unit 11 can output, as an RV image, for example, a color image in which the resolution is RRV and the YUV is in a 4: 2: 2 format and the number of bits of one pixel is 8 bits.
  • a BM image with a resolution of RBM and a YUV of 4: 2: 2 format and a pixel number of 8 bits is called the highest quality BM image, and a resolution of RRV and a YUV of a 4: 2: 2 format of 1
  • An RV image with 8-bit pixels is called the highest quality RV image.
  • the camera unit 11 can output both the highest quality BM image and RV image at a maximum of 120 fps.
  • the vehicle transmission band is 60 fps, and only two screens of the highest quality BM image (or RV image) can be transmitted.
  • the camera unit 11 in order to suppress the cost increase of the viewing system, the camera unit 11 appropriately adjusts the data amount of the BM image or the RV image and transmits the BM image or the RV image within the vehicle transmission band. To do.
  • FIG. 9 is a diagram illustrating a first example of control of adjusting the data amounts of the BM image and the RV image by the control unit 36.
  • 9A shows the adjustment control when the vehicle 10 is moving forward and when the vehicle 10 is moving backward at a high speed equal to or higher than the first threshold value of speed.
  • control unit 36 performs the adjustment control as the control of the data amount adjustment unit 33 so that the BM image of 120 fps is output at the resolution RBM and the output of the RV image is limited.
  • the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 36, outputs the BM image of 120 fps with the resolution RBM, and outputs the RV image. Restrict.
  • the camera unit 11 outputs the BM image of 120 fps with the resolution RBM and does not output the RV image.
  • the BM display unit 21 displays the BM image of 120 fps at the resolution RBM, and the RV display unit 22 does not display the RV image.
  • the driver uses the BM image of 120 fps at the resolution RBM, that is, the BM image of the high resolution and the high frame rate.
  • the rear part can be confirmed immediately after the rear part of the vehicle 10.
  • RV image including the image immediately after the rear part of the vehicle 10 is not displayed when the vehicle 10 is moving forward and when moving backward at a high speed.
  • the BM image of 120 fps can be transmitted in the vehicle transmission band capable of transmitting the BM image of the highest image quality (resolution RBM) of 60 fps for two screens.
  • the data amount adjusting method for adjusting the data amount of the image in the data amount adjusting unit 33 other than the method of limiting the output of the image (not outputting the image), for example, the resolution (pixel Number), a method of reducing the gradation (the number of bits of one pixel), a method of reducing the frame rate, a method of compressing by a predetermined compression encoding method, and the like.
  • limiting the output of the image, reducing the resolution, reducing the gradation, and reducing the frame rate are performed by the data amount adjusting unit 33, and in the control unit 36.
  • control such as extraction control of the image sensor 32, the image sensor 32 can be controlled.
  • the control unit 36 controls the reading of data from the image sensor 32 so as to limit the extraction of the RV image from the captured image. This can be performed by not reading out the pixel signal which becomes the RV image from 51 (FIG. 6).
  • the control unit 36 controls the extraction of the image sensor 32 so as to limit the extraction of the RV image from the captured image according to the vehicle information when the vehicle 10 is moving forward and when moving backward at high speed. It can be performed.
  • the output of the RV image may be limited in the data amount adjusting unit 33 without being limited by the image sensor 32.
  • control unit 36 for example, by thinning out the pixels 51 from which pixel signals are read, or by performing so-called SF (Source follower) addition, FD (Floating Diffusion) addition, or the like, a plurality of pixels 51 This can be performed by controlling the image sensor 32 so as to perform binning for adding the pixel signals of.
  • SF Source follower
  • FD Floating Diffusion
  • the gradation can be reduced by controlling the image sensor 32 in the control unit 36 so as to reduce the number of AD conversion bits of the AD conversion unit 52 (FIG. 6), for example.
  • control unit 36 controls the image sensor 32 so as to reduce the rate at which a pixel signal is read from the pixel 51 and the rate at which the AD conversion unit 52 performs AD conversion, for example. be able to.
  • FIG. 9 shows the adjustment control when the vehicle 10 is moving in reverse at a medium speed, which is a speed that is equal to or higher than the second threshold value that is smaller than the first threshold value and is lower than the first threshold value.
  • the control unit 36 outputs the BM image of 120 fps with the resolution RBMM less than the resolution RBM, and the RV image of 30 fps with the resolution RRVM less than the resolution RRV, and the data amount adjustment unit 33. Adjustment control is performed as the control of.
  • the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 36, outputs the BM image of 120 fps with the resolution RBMM, and 30 fps with the resolution RRVM. Output the RV image.
  • the camera unit 11 outputs a BM image of 120 fps with a resolution of RBMM and an RV image of 30 fps with a resolution of RRVM.
  • the BM display unit 21 displays a 120 fps BM image with a resolution RBMM
  • the RV display unit 22 displays a 30 fps RV image with a resolution RRVM.
  • the driver uses the BM image of 120 fps with the resolution RBMM, that is, the BM image of the medium resolution and the high frame rate, and You can check the back from immediately after. Further, the driver can confirm the area immediately behind the rear part of the vehicle 10 with the RV image of 30 fps at the resolution RRVM, that is, the RV image of the medium resolution and the low frame rate.
  • the transmission band required to transmit an RV image of 30 fps is the maximum transmission rate (here, the transmission rate required when transmitting a BM image of the resolution RBM at 120 fps without compression) and the resolution RBMM. Is less than or equal to the transmission band of the difference in transmission rate (first transmission rate) required when transmitting at 120 fps.
  • both the BM image of 120 fps with the resolution RBMM output by the camera unit 11 and the RV image of 30 fps with the resolution RRVM can transmit the BM image with the highest image quality of 60 fps for two screens. Can be transmitted by the available vehicle transmission band.
  • the data amount adjusting unit 33 causes the BM image and the RV image to be transmitted. Make sure that one or both of the images have a resolution of RRVM and the transmission bandwidth required to transmit a 30 fps RV image is less than or equal to the transmission bandwidth of the difference between the maximum transmission rate and the first transmission rate. It can be compressed (encoded) so that it can be transmitted. For example, the data amount can be reduced by compressing (coding) a part or all of a BM image with a resolution of RBMM and 120 fps. With respect to an RV image with a resolution of RRVM and 30 fps, the data amount can be reduced by converting the color image as it is or by converting it into a monochrome image and compression-encoding it.
  • 9C shows the adjustment control when the vehicle 10 is moving backward at a low speed that is less than the second threshold and less than the second threshold.
  • the control unit 36 performs the adjustment control as the control of the data amount adjustment unit 33 so that the BM image of 60 fps is output at the resolution RBM and the RV image of 60 fps is output at the resolution RRV. ..
  • the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 36, outputs the BM image of 60 fps at the resolution RBM, and the 60 fps at the resolution RRV. Output the RV image.
  • the camera unit 11 outputs a 60 fps BM image with a resolution RBM and a 60 fps RV image with a resolution RRV.
  • the BM display unit 21 displays a 60 fps BM image with a resolution RBM
  • the RV display unit 22 displays a 60 fps RV image with a resolution RRV.
  • the driver immediately after the rear portion of the vehicle 10 by using the BM image of 60 fps at the resolution RBM, that is, the BM image of the high resolution and the medium frame rate. You can see more behind you. Further, the driver can confirm the area immediately behind the rear portion of the vehicle 10 by the RV image of 60 fps with the resolution RRV, that is, the RV image of the high resolution and the medium frame rate.
  • the case where the vehicle 10 is moving backward at a low speed is, for example, when the vehicle 10 is about to be parked, and it is important to check immediately after the rear portion of the vehicle 10 that is a blind spot from the driver. Therefore, when the vehicle 10 is moving backward at a low speed, the RV image is displayed at a higher resolution and a higher frame rate than when the vehicle 10 is moving backward at a high speed or a medium speed. This facilitates confirmation of a blind spot area and vehicle control according to the blind spot situation.
  • Both the BM image of 60 fps with the resolution RBM output by the camera unit 11 and the RV image of 60 fps with the resolution RRV can transmit the BM image of the highest image quality of 60 fps for two screens. It can be transmitted by the vehicle transmission band.
  • FIG. 10 is a diagram illustrating a second example of the control of adjusting the data amount of the BM image and the RV image by the control unit 36.
  • the BM image of the highest image quality (resolution RBM) whose vehicle transmission band is, for example, 60 fps (or more) is transmitted for one screen. It is assumed that the transmission band is such that
  • a of FIG. 10 shows the adjustment control when the vehicle 10 is moving forward and when the vehicle is moving backward at a high speed equal to or higher than the first threshold value of speed.
  • control unit 36 performs adjustment control as the control of the data amount adjustment unit 33 so that the BM image of 60 fps (or higher) is output at the resolution RBM and the output of the RV image is limited.
  • the data amount adjusting unit 33 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 36, outputs the BM image of 60 fps with the resolution RBM, and outputs the RV image. Restrict.
  • the camera unit 11 outputs the BM image of 60 fps with the resolution RBM, and does not output the RV image.
  • the BM display unit 21 displays the BM image of 60 fps at the resolution RBM, and the RV display unit 22 does not display the RV image.
  • the driver uses the BM image of 60 fps at the resolution RBM, that is, the BM image of the high resolution and the medium frame rate.
  • the rear part can be confirmed immediately after the rear part of the vehicle 10.
  • the RV image including the image immediately after the rear portion of the vehicle 10 is not displayed, as described with reference to FIG. 9A.
  • the BM image of 60 fps can be transmitted in the vehicle transmission band capable of transmitting the BM image of the highest image quality (resolution RBM) of 60 fps for one screen.
  • FIG. 10 shows the adjustment control when the vehicle 10 is traveling in reverse at a medium speed that is a speed that is equal to or higher than a second threshold value that is smaller than the first threshold value and that is less than the first threshold value.
  • the control unit 36 outputs the BM image of 60 fps with the resolution RBMM less than the resolution RBM, and the RV image of 30 fps with the resolution RRVM less than the resolution RRV, and the data amount adjustment unit 33. Adjustment control is performed as the control of.
  • the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 36, outputs the BM image of 60 fps with the resolution RBMM, and 30 fps with the resolution RRVM. Output the RV image.
  • the camera unit 11 outputs a BM image of 60 fps with a resolution of RBMM and an RV image of 30 fps with a resolution of RRVM.
  • the BM display unit 21 displays the BM image of 60 fps with the resolution RBMM
  • the RV display unit 22 displays the RV image of 30 fps with the resolution RRVM.
  • the driver uses the BM image of 60 fps with the resolution RBMM, that is, the BM image of the medium resolution and the medium frame rate, and You can check the back from immediately after. Further, the driver can confirm the area immediately behind the rear part of the vehicle 10 with the RV image of 30 fps at the resolution RRVM, that is, the RV image of the medium resolution and the low frame rate.
  • the transmission band (hereinafter also referred to as a required transmission band) required for transmitting both the BM image of 60 fps with the resolution RBMM output by the camera unit 11 and the RV image of 30 fps with the resolution RRVM is 60 fps. If the BM image with the highest image quality is not included in the vehicle transmission band that can transmit only one screen, the BM image is compressed with the first compression for medium speed so that the required transmission band is included in the vehicle transmission band. Ratio, or convert the RV image as a color image or into a monochrome image and compress it at a second compression ratio for medium speed higher than the first compression ratio for medium speed. be able to.
  • FIG. 10 shows the adjustment control when the vehicle 10 is moving backward at a low speed that is less than the second threshold and less than the second threshold.
  • the control unit 36 controls the data amount adjustment unit 33 so that the BM image of 60 fps is output with the resolution RBML less than the resolution RBMM, and the RV image of 30 fps is output with the resolution RRVM.
  • the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 36, outputs the BM image of 60 fps with the resolution RBML, and 30 fps with the resolution RRVM. Output the RV image.
  • the camera unit 11 outputs a BM image with a resolution of RBML and 60 fps and an RV image with a resolution of RRV and 30 fps.
  • the BM display unit 21 displays the BM image of 60 fps with the resolution RBML
  • the RV display unit 22 displays the RV image of 30 fps with the resolution RRVM.
  • the driver when the vehicle 10 is moving backward at a low speed, the driver immediately after the rear portion of the vehicle 10 by using the BM image of 60 fps at the resolution RBML, that is, the BM image of the low resolution and the medium frame rate. You can see more behind you. Further, the driver can confirm the area immediately behind the rear part of the vehicle 10 with the RV image of 30 fps at the resolution RRVM, that is, the RV image of the medium resolution and the low frame rate.
  • the BM image with the resolution of RBML output by the camera unit 11 is the BM image of 60 fps, and the RBVM with the resolution of RRVM is 30 fps of the RV image. If it does not fit in the vehicle transmission band that can transmit only the screen portion, compress the BM image at the first compression rate for low speed so that the required transmission band fits in the vehicle transmission band, and RV image. Can be compressed at a second compression rate for low speed (higher compression) than the first compression rate for low speed (as it is as a color image).
  • first compression rate for low speed a higher compression rate than the first compression rate for medium speed
  • second compression ratio for low speed medium speed Second compression rate> low speed first compression rate> medium speed first compression.
  • first compression rate value the higher the compression rate value
  • second compression rate for low speed the second compression rate for low speed.
  • Data amount after compression by rate data amount after compression by second compression ratio for medium speed ⁇ data amount after compression by first compression ratio for low speed ⁇ after compression by first compression for medium speed It becomes the amount of data.
  • the adjustment control for adjusting the data amount of the BM image and the RV image according to the vehicle speed of the vehicle 10 and the traveling direction (forward or backward) has been described.
  • the adjustment control method is not limited to the method described with reference to FIGS. 9 and 10. That is, the adjustment control method can be appropriately set according to the vehicle transmission band, the performance of the image sensor 32, the specifications of the BM display unit 21 and the RV display unit 22, and the like. Since the data amount is related to the image quality of the displayed BM image and the image quality of the RV image, it is said that the image quality of the BM image and the RV image is changed according to the vehicle speed and the traveling direction (forward or reverse) of the vehicle 10. I can say.
  • the resolution of the BM image and the RV image can be reduced by reducing the number of pixels forming the BM image and the RV image. It is also possible to perform compression without changing the number of pixels.
  • the compression ratio for compressing the BM image and the RV image is a part of the high frequency component etc. obtained by the compression and decompression.
  • the compression ratio is adopted so that the substantial resolution of the BM image and the RV image in which the frequency component is lost (the highest frequency component that the image has) becomes equivalent to the resolution (the number of pixels) described in FIG. 9 and FIG. can do.
  • FIG. 11 is a flowchart illustrating an example of display processing for displaying the BM image and the RV image performed by the viewing system of FIG.
  • step S11 the image sensor 32 captures a captured image, and the process proceeds to step S12.
  • step S12 the acquisition unit 35 acquires vehicle information from the vehicle 10 and supplies the vehicle information to the control unit 36, and the process proceeds to step S13.
  • step S13 the control unit 36 controls the extraction of the image sensor 32 according to the vehicle information from the acquisition unit 35.
  • the image sensor 32 extracts the BM image and the RV image from the captured image according to the extraction control of the control unit 36. Then, the image sensor 32 supplies the BM image and the RV image to the data amount adjustment unit 33, and the process proceeds from step S13 to step S14.
  • step S14 the control unit 36 controls the data amount adjustment unit 33 according to the vehicle information from the acquisition unit 35.
  • the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 36. Then, the data amount adjustment unit 33 supplies the BM image and the RV image with the adjusted data amount to the output unit 34, and the process proceeds from step S14 to step S15.
  • step S15 the output unit 34 outputs the BM image and the RV image from which the data amount has been adjusted from the data amount adjustment unit 33 to the outside of the camera unit 11, and transmits the BM image to the BM display unit 21. , RV image is transmitted to the RV display unit 22, and the process proceeds to step S16.
  • step S16 the BM display unit 21 displays the BM image from the output unit 34 according to the specifications of the BM display unit 21, and the RV display unit 22 displays the RV image from the output unit 34 on the RV display unit 22. Display according to specifications.
  • FIG. 12 is a block diagram showing a second configuration example of the viewing system mounted on the vehicle 10.
  • the viewing system includes a camera unit 11, a BM display unit 21, and an RV display unit 22, and the camera unit 11 includes an optical system 31, an image sensor 32, a data amount adjustment unit 33, and an output unit 34.
  • the viewing system of FIG. 12 includes the camera unit 11, the BM display unit 21, and the RV display unit 22, and the camera unit 11 includes the optical system 31 and the control unit 36. Common with.
  • the viewing system of FIG. 12 differs from the case of FIG. 3 in that the camera unit 11 newly has a memory 71.
  • the image sensor 32 supplies the highest resolution image (highest resolution captured image) to the memory 71, and the memory 71 stores the highest resolution image from the image sensor 32. Then, the control unit 36 controls the memory 71, not the image sensor 32, to read data (pixel signals) from the memory 71 as extraction control, and thus, as in the case of FIG. Extract BM and RV images from the highest resolution image.
  • the BM image and RV image extracted from the highest resolution image stored in the memory 71 are supplied to the data amount adjustment unit 33.
  • the output of the RV image is limited when the vehicle 10 is moving forward and when moving backward at high speed, as described with reference to FIGS. 9A and 10A. Is performed by limiting the output of the RV image in the data amount adjusting unit 33, and by limiting the extraction of the RV image from the highest resolution image (not reading the RV image) in the extraction control of the memory 71. be able to.
  • the display processing for displaying the BM image and the RV image is the same as that described with reference to FIG.
  • step S11 after the image sensor 32 captures a captured image in step S11, the captured image is stored in the memory 71.
  • the control unit 36 controls the extraction of the memory 71, not the image sensor 32, according to the vehicle information from the acquisition unit 35, so that the BM from the captured image stored in the memory 71 is Images and RV images are extracted.
  • FIG. 13 is a block diagram showing a third configuration example of the viewing system mounted on the vehicle 10.
  • the viewing system includes a camera unit 11, a BM display unit 21, an RV display unit 22, and an extraction unit 82, and the camera unit 11 includes an optical system 31, an image sensor 32, and a data amount adjustment unit 33.
  • the viewing system of FIG. 13 includes the camera unit 11, the BM display unit 21, and the RV display unit 22, and the camera unit 11 includes the optical system 31 or the acquisition unit 35. Common with.
  • the viewing system of FIG. 13 is different in that the extraction unit 82 is newly provided and that the control unit 81 is provided in the camera unit 11 instead of the control unit 36. Different from the case.
  • the extraction unit 82 is provided outside the camera unit 11 in FIG. 13, it can be provided inside the camera unit 11.
  • Vehicle information is supplied from the acquisition unit 35 to the control unit 81.
  • the vehicle information includes, for example, travel information, specifications of the BM display unit 21 and RV display unit 22, gyro information, and the like.
  • the vehicle information supplied from the acquisition unit 35 does not include the driver's line of sight and the position of the head.
  • the line of sight and the position of the head of the driver of the vehicle 10 are input to the extraction unit 82 as part of the vehicle information.
  • control unit 81 performs the extraction control of the image sensor 32 and the adjustment control of the data amount adjustment unit 33 according to the vehicle information from the acquisition unit 35.
  • the control unit 81 uses the area R11 instead of controlling the area R11 (the position) extracted as the BM image according to one or both of the driver's line of sight and the position of the head. A large area is extracted as a BM image.
  • the size of the BM image output by the output unit 34 is larger than the size of the BM image output by the output unit 34 in FIGS. 3 and 12.
  • the BM image having a size larger than the region R11 output by the output unit 34 is supplied to the extraction unit 82.
  • the extraction unit 82 is supplied from the output unit 34 with a BM image having a size larger than the region R11, and is also supplied with the driver's line of sight and the position of the head in the vehicle information.
  • the extraction unit 82 determines, according to one or both of the driver's line of sight and the position of the head, a partial region of the BM image larger than the region R11 from the output unit 34, that is, the same size as the region R11. Area is extracted as a final BM image to be displayed on the BM display unit 21, and is supplied to the BM display unit 21.
  • FIG. 14 is a diagram illustrating an example of control of extracting a BM image and an RV image from a captured image by the control unit 81.
  • FIG. 14 shows an image circle of the optical system 31 and a photographed image photographed by the image sensor 32 (light receiving surface of the image sensor 32).
  • control unit 81 controls reading of data from the image sensor 32 so as to extract the region R12 as an RV image, similarly to the control unit 36.
  • control unit 81 reads data from the image sensor 32 so as to extract not the region R11 but the region R31 having a size larger than the size of the region R11 from the captured image as a BM image. Control.
  • the region R31 includes the maximum range that the driver can see through the interior rearview mirror by moving the line of sight or the head of the driver. This is the area where The region R11 is a variable region whose position is changed according to the driver's line of sight or the position of the head, while the region R31 is a fixed region.
  • the extraction unit 82 from the region R31 as described above, a region corresponding to one or both of the driver's line of sight and the position of the head, and the region having the same size as the region R11 is the BM display unit. It is extracted as the final BM image to be displayed on 21. That is, in the extraction unit 82, if the interior rearview mirror is installed in the vehicle 10 from the area R31, the area R11 that the driver will observe with the interior rearview mirror is extracted as a BM image.
  • FIG. 15 is a flowchart illustrating an example of display processing for displaying the BM image and the RV image performed by the viewing system in FIG.
  • step S21 the image sensor 32 captures a captured image, and the process proceeds to step S22.
  • step S22 the acquisition unit 35 acquires vehicle information from the vehicle 10 and supplies the vehicle information to the control unit 36, and the process proceeds to step S23.
  • step S23 the control unit 36 controls the extraction of the image sensor 32.
  • the image sensor 32 extracts the regions R31 and R12 as the BM image and the RV image from the captured image, respectively, as described in FIG. Then, the image sensor 32 supplies the BM image and the RV image to the data amount adjustment unit 33, and the process proceeds from step S23 to step S24.
  • step S24 the control unit 36 controls the data amount adjustment unit 33 according to the vehicle information from the acquisition unit 35.
  • the data amount adjustment unit 33 adjusts the data amount of the BM image and the RV image from the image sensor 32 according to the adjustment control of the control unit 36. Then, the data amount adjustment unit 33 supplies the BM image and the RV image with the adjusted data amount to the output unit 34, and the process proceeds from step S24 to step S25.
  • step S25 the output unit 34 outputs the BM image and the RV image whose data amount has been adjusted from the data amount adjusting unit 33 to the outside of the camera unit 11, and the process proceeds to step S26.
  • the BM image is supplied to the extraction unit 82 and the RV image is transmitted to the RV display unit 22.
  • step S26 the extraction unit 82 acquires the driver's line of sight and head position included in the vehicle information from the vehicle 10, and the process proceeds to step S27.
  • step S27 the extraction unit 82 causes the BM display unit 21 to display an area of the same size as the area R11 at the position corresponding to the driver's line of sight and the position of the head from the BM image from the output unit 34. Extracted as a typical BM image. Then, the extraction unit 82 transmits the final BM image to the BM display unit 21, and the processing proceeds from step S27 to step S28.
  • step S28 the BM display unit 21 displays the BM image from the extraction unit 82 according to the specifications of the BM display unit 21, and the RV display unit 22 displays the RV image from the output unit 34 in the RV display unit 22. Display according to specifications.
  • FIG. 16 is a block diagram showing a fourth configuration example of the viewing system mounted on the vehicle 10.
  • the vehicle information acquired by the acquisition unit 35 includes, for example, traveling information, specifications of the BM display unit 21 and RV display unit 22, gyro information, and the like.
  • the line of sight and the position of the head of the driver of the vehicle 10 are input to the extraction unit 82 as part of the vehicle information.
  • the viewing system includes a camera unit 11, a BM display unit 21, an RV display unit 22, and an extraction unit 82, and the camera unit 11 includes an optical system 31, an image sensor 32, and a data amount adjustment unit 33.
  • the viewing system in FIG. 16 includes the camera unit 11, the BM display unit 21, the RV display unit 22, and the extraction unit 82, and the camera unit 11 includes the optical system 31 to the acquisition unit 35 and the control unit.
  • the point 81 is common to the case of FIG.
  • the viewing system in FIG. 16 is different from the case in FIG. 13 in that the memory 71 in FIG. 12 is newly added.
  • the memory 71 stores the highest resolution image (captured image) from the image sensor 32, and the extraction control is performed by the memory 71 instead of the image sensor 32.
  • the same processing as in the case of FIG. 13 is performed except that the above processing is performed.
  • the series of processes of the control units 36 and 81, the data amount adjustment unit 33, and the extraction unit 82 described above can be performed by hardware or software.
  • a program forming the software is installed in a general-purpose computer or the like.
  • FIG. 17 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a hard disk 905 or a ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
  • Such removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed in the computer from the removable recording medium 911 as described above, or downloaded to the computer via a communication network or a broadcast network and installed in the built-in hard disk 905. That is, the program is wirelessly transferred from a download site to a computer via an artificial satellite for digital satellite broadcasting, or is transferred to a computer via a network such as a LAN (Local Area Network) or the Internet by wire. be able to.
  • a network such as a LAN (Local Area Network) or the Internet by wire.
  • the computer has a built-in CPU (Central Processing Unit) 902, and an input / output interface 910 is connected to the CPU 902 via a bus 901.
  • CPU Central Processing Unit
  • the CPU 902 executes the program stored in the ROM (Read Only Memory) 903 according to the instruction input by the user operating the input unit 907 or the like via the input / output interface 910. .. Alternatively, the CPU 902 loads a program stored in the hard disk 905 into a RAM (Random Access Memory) 904 and executes it.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 902 performs the processing according to the above-described flowchart or the processing performed by the configuration of the above-described block diagram. Then, the CPU 902 outputs the processing result, for example, via the input / output interface 910, from the output unit 906 or transmitted from the communication unit 908, and further recorded on the hard disk 905, as necessary.
  • the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like.
  • the output unit 906 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing that is executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor) or may be processed by a plurality of computers in a distributed manner. Further, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of constituent elements (devices, modules (components), etc.), and it does not matter whether or not all constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • the present technology can be configured as cloud computing in which one function is shared by a plurality of devices via a network and jointly processes.
  • each step described in the above-mentioned flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • An image sensor for shooting A control unit for performing extraction control for extracting a first image displayed on the first display unit and a second image displayed on the second display unit from a captured image captured by the image sensor; , A data amount adjusting unit that adjusts the data amount of the first image and the second image according to vehicle information acquired from the vehicle.
  • the said control part is an imaging device as described in ⁇ 1> which controls reading of the data from the memory
  • the said control part is an imaging device in any one of ⁇ 1> thru
  • the vehicle information includes a traveling direction of the vehicle,
  • the said control part is an imaging device as described in ⁇ 4> which limits extraction of the said 2nd image from the said captured image, when the traveling direction of the said vehicle is a forward direction.
  • the vehicle information includes the line of sight or the position of the head of the driver of the vehicle,
  • the said control part is an imaging device as described in ⁇ 4> which controls the area
  • ⁇ 7> The imaging device according to any one of ⁇ 1> to ⁇ 6>, wherein the data amount adjustment unit adjusts the data amount of the second image by limiting the output of the second image.
  • the data amount adjustment unit adjusts the data amount of the first image or the second image by compressing the first image or the second image Any of ⁇ 1> to ⁇ 7>
  • ⁇ 10> The imaging device according to any one of ⁇ 1> to ⁇ 9>, wherein the vehicle information includes a traveling direction or a vehicle speed of the vehicle.
  • the first display unit is a display unit that is an alternative to a class I mirror.
  • the image capturing apparatus according to any one of ⁇ 1> to ⁇ 11>, in which the first image is an image in which a rear portion of the vehicle is seen immediately after a rear portion of the vehicle.
  • the second image is an image of a portion immediately behind the rear portion of the vehicle.
  • Extraction control is performed to extract a first image displayed on the first display unit and a second image displayed on the second display unit from a captured image captured by an image sensor that captures images.
  • Department A program for causing a computer to function as a data amount adjustment unit that adjusts the data amounts of the first image and the second image according to vehicle information acquired from a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、高コスト化を抑制することができるようにする撮影装置、画像処理方法、及び、プログラムに関する。 制御部は、撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う。データ量調整部は、車両から取得される車両情報に応じて、第１の画像及び第２の画像のデータ量を調整する。本技術は、例えば、車両の後方が写る画像を表示するビューイングシステムに適用することができる。

Description

撮影装置、画像処理方法、及び、プログラム
　本技術は、撮影装置、画像処理方法、及び、プログラムに関し、特に、例えば、高コスト化を抑制することができるようにする撮影装置、画像処理方法、及び、プログラムに関する。
　例えば、自動車等の車両については、車両の後部に、撮影装置としてのカメラを設置し、そのカメラで撮影された車両の後方が写る画像を表示するビューイングシステムが提案されている。
　ビューイングシステムが提供する、車両の後方が写る画像としては、車両の後部の直後より後方が写る画像や、車両の後部の直後が写る画像がある。
　ここで、車両の後部の直後より後方が写る画像は、例えば、いわゆる室内バックミラー（ルームミラー）と呼ばれるクラスIミラーに写る画像に相当する画像であり、以下、BM(Back Mirror)画像ともいう。また、車両の後部の直後が写る画像は、車両の後部とその直後とが写る画像であり、以下、RV(Rear View)画像ともいう。
　BM画像及びRV画像については、撮影に必要とされる仕様、すなわち、画角や光軸の方向が異なるため、BM画像及びRV画像は、別のカメラを用いて撮影される。したがって、ビューイングシステムにおいて、BM画像及びRV画像を表示する場合には、車両の後部に、BM画像を撮影するカメラと、RV画像を撮影するカメラとの２台のカメラを設ける必要がある。
　近年、低コスト化等のために、１台のカメラでBM画像及びRV画像を撮影することが要請されている。
　例えば、特許文献１には、PTZ(Pan, Tilt, Zoom)動作により、画角及び光軸の方向を変化させるカメラが記載されている。特許文献１に記載のカメラでは、PTZ動作によって、車両の遠方の範囲が写る遠方画像の撮影と、車両に近接する範囲が写る近接画像の撮影とを切り替えることができる。
特開平11-312300号公報
　特許文献１に記載のカメラによれば、遠方画像をBM画像として出力することと、近接画像をRV画像として出力することとを切り替えることができる。しかしながら、特許文献１に記載のカメラでは、遠方画像と近接画像とを同時に出力することは困難である。
　また、車両でデータ伝送に使用することができる車両伝送帯域には制限がある。そのため、仮に、遠方画像をBM画像として出力することと、近接画像をRV画像として出力することとを同時に行うことができたとしても、遠方画像及び近接画像の伝送を同時に行って表示することは困難である。
　車両伝送帯域を大きくすることにより、遠方画像及び近接画像の伝送を同時に行うことが可能となるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。
　本技術は、このような状況に鑑みてなされたものであり、高コスト化を抑制することができるようにするものである。
　本技術の撮影装置、又は、プログラムは、撮影を行うイメージセンサと、前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部とを備える撮影装置、又は、そのような撮影装置としてコンピュータを機能させるためのプログラムである。
　本技術の画像処理方法は、撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することとを含む画像処理方法である。
　本技術の撮影装置、画像処理方法、及び、プログラムにおいては、撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御が行われる。そして、車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量が調整される。
　なお、撮影装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。 車両１０の車内の構成例を示す斜視図である。 車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。 制御部３６による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。 ジャイロ情報に応じたBM画像（としての領域R11）の抽出制御を説明する図である。 イメージセンサ３２の構成例を示す図である。 イメージセンサ３２から出力することができる画像の例を説明する図である。 車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。 制御部３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。 制御部３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。 ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。 車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。 車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。 制御部８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。 ビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。 車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜ビューイングシステムを搭載した車両の構成例＞
　図１は、本技術を適用したビューイングシステムが搭載された車両１０の外観構成例を示す斜視図である。
　例えば、（四輪）自動車である車両１０には、後部に、車両１０の後方を撮影する撮影装置としての１台のカメラユニット１１が設置されている。図１では、カメラユニット１１は、車両１０のリアガラスの上部に設置されている。
　カメラユニット１１は、BM画像（第１の画像）となる範囲と、RV画像（第２の画像）となる範囲との両方が写る画像を一つの画像として撮影することができるように、広角のカメラユニットになっている。さらに、カメラユニット１１は、BM画像において、遠方の被写体が明確に写るように、高解像度のカメラユニットになっている。したがって、カメラユニット１１は、広角かつ高解像度の画像を撮影することができる。
　なお、カメラユニット１１では、後述するように、カメラユニット１１において撮影される画像（以下、撮影画像ともいう）から、BM画像及びRV画像が抽出される。
　BM画像には、車両１０に室内バックミラー（ルームミラー。国際連合欧州経済委員会〈UN/ECE〉が定めるRegulation No.46におけるクラスIミラー）が設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子の画像が含まれるように、かつ、RV画像には、車両１０の後部とその（後部の）直後の様子の画像が含まれるように、カメラユニット１１は、光軸の向きが調整されて設置される。
　したがって、BM画像は、車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察することができる、車両１０の後部の直後より後方の様子が写る画像である。また、RV画像は、車両１０の後部とその直後の様子とが写る画像である。RV画像には、室内バックミラーでは死角となる車両１０の後部の直後が写るので、RV画像は、車両１０の後進時に、特に有用である。また、RV画像は、車両１０を上部から見たような俯瞰画像の生成に用いることができる。
　なお、上述のようなBM画像及びRV画像を抽出することができる撮影画像を撮影することができれば、カメラユニット１１を設置する位置は、車両１０のリアガラスの上部に限定されるものではない。例えば、カメラユニット１１は、車両１０のリアガラスの上部の他、車両１０の後部のナンバープレートの上部の位置P11等に設置することができる。
　図２は、図１の車両１０の車内の構成例を示す斜視図である。
　車両１０の車内の室内バックミラーが設置される位置には、BM画像を表示するBM表示部２１が設けられている。BM表示部２１は、室内バックミラーの代替となる表示部である。
　車両１０の車内のダッシュボードの中央の位置には、RV画像を表示するRV表示部２２が設けられている。
　なお、車両１０の車内のダッシュボードの運転席側には、運転者を撮影する車内カメラ２３が設けられている。車内カメラ２３では、運転者を撮影し、その運転者が写る画像が出力される。車両１０では、運転者が写る画像から、運転者の視線や頭部の位置が検出される。
　ここで、運転者を撮影する車内カメラ２３は、ダッシュボード以外の任意の位置、例えば、BM表示部２１の上部の位置P21等に設けることができる。
　＜ビューイングシステムの第１の構成例＞
　図３は、車両１０に搭載されたビューイングシステムの第１の構成例を示すブロック図である。
　ビューイングシステムは、図１及び図２で説明したカメラユニット１１、BM表示部２１、及び、RV表示部２２を有する。
　カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、及び、制御部３６を有する。
　光学系３１は、集光レンズや絞り等の光学部品で構成され、光学系３１に入射する光を、イメージセンサ３２に集光させる。
　イメージセンサ３２は、光学系３１からの光を受光し、光電変換を行うことで、撮影画像を撮影する。そして、イメージセンサ３２は、制御部３６の制御に従い、撮影画像から、BM画像及びRV画像を抽出して出力する。イメージセンサ３２が出力するBM画像及びRV画像は、データ量調整部３３に供給される。
　データ量調整部３３は、制御部３６の制御に従い、イメージセンサ３２が出力するBM画像及びRV画像のデータ量を調整し、データ量が調整された後のBM画像及びRV画像を、出力部３４に供給する。
　出力部３４は、データ量調整部３３からのBM画像及びRV画像を、カメラユニット１１の外部に伝送する出力IF(Interface)であり、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送する。BM表示部２１では、出力部３４からのBM画像が、BM表示部２１の仕様に従って表示され、RV表示部２２では、出力部３４からのRV画像が、RV表示部２２の仕様に従って表示される。出力部３４は、BM画像及びRV画像のフォーマット変換その他の画像処理を、必要に応じて行うことができる。
　取得部３５は、車両１０から取得することが可能な情報（以下、車両情報ともいう）を、車両１０から取得し、制御部３６に供給する。
　ここで、車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、車両１０の運転者の視線及び頭部の位置、ジャイロ情報等がある。
　走行情報とは、車両１０の走行状態を表す情報であり、具体的には、車速や、走行方向（前進又は後進）を表す。車速は、例えば、車両１０が速度センサを搭載している場合には、その速度センサの出力から取得することができる。走行方向は、例えば、トランスミッションの状態から取得することができる。
　BM表示部２１及びRV表示部２２の仕様とは、例えば、BM表示部２１及びRV表示部２２の解像度等であり、BM表示部２１及びRV表示部２２から取得することができる。
　車両１０の運転者の視線及び頭部の位置は、車内カメラ２３で撮影された画像から求めることができる。
　ジャイロ情報とは、車両１０の姿勢（／車両の傾きの角度）を表す情報である。ジャイロ情報は、車両１０がジャイロセンサを搭載している場合には、そのジャイロセンサの出力から求めることができる。ジャイロ情報によれば、車両１０が坂道に位置しているかどうかを認識することができる。
　制御部３６は、取得部３５から供給される車両情報に応じて、イメージセンサ３２やデータ量調整部３３を制御する。
　すなわち、制御部３６は、車両情報に応じて、イメージセンサ３２での撮影画像からのBM画像及びRV画像の抽出を制御する抽出制御を行う。また、制御部３６は、車両情報に応じて、データ量調整部３３でのBM画像及びRV画像のデータ量の調整を制御する調整制御を行う。
　したがって、イメージセンサ３２は、車両情報に応じて、撮影画像から、BM画像及びRV画像を抽出し、データ量調整部３３は、車両情報に応じて、BM画像及びRV画像のデータ量を調整する、ということができる。
　＜撮影画像からのBM画像及びRV画像の抽出制御＞
　図４は、制御部３６による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
　光学系３１と、イメージセンサ３２が撮影する撮影画像とは、例えば、図４に示すように、撮影画像（イメージセンサ３２の受光面）が光学系３１（を構成するレンズ）のイメージサークルを包含するような位置関係になっている。
　制御部３６は、抽出制御において、撮像画像から、車両１０の後部の直後より後方が写る所定の領域（車両１０に室内バックミラーが設置されていたならば、その室内バックミラーで観察される領域）R11を、BM画像として抽出するように、イメージセンサ３２からのデータ（画素信号）の読み出しを制御する。
　さらに、制御部３６は、抽出制御において、撮像画像（のうちのイメージサークル内の画像）から、車両１０の後部と、その直後とが写る所定の領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
　イメージセンサ３２は、制御部３６の制御に従い、撮影により得られた撮影画像から、BM画像（のデータ）となる領域R11のデータ（画素信号）を読み出すとともに、RV画像となる領域R12のデータを読み出す。
　なお、領域R11及びR12の大きさは、BM表示部２１及びRV表示部２２の仕様に応じて設定することができる。
　また、制御部３６は、BM画像の抽出制御において、車両情報に含まれる運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する。
　すなわち、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動すると、室内バックミラーによって運転者が見ることができる画像に写る範囲が変化する。制御部３６は、車両１０に、室内バックミラーが設置されている場合に観察することができる画像と同様の範囲が写るBM画像を、運転者が見ることができるように、BM画像の抽出制御において、運転者の視線や頭部の位置に応じて、BM画像として抽出する領域R11の位置を変更させる。
　その他、制御部３６は、BM画像の抽出制御において、車両情報に含まれるジャイロ情報に応じて、BM画像として抽出する領域R11を制御することができる。
　図５は、ジャイロ情報に応じたBM画像（としての領域R11）の抽出制御を説明する図である。
　いま、BM画像に写る３次元空間の範囲を、BM範囲ということとする。また、説明を簡単にするため、運転者の視線及び頭部の位置は固定されているとする。したがって、ここでは、撮影画像からBM画像として抽出される領域R11（の位置）、ひいては、BM範囲に関して、運転者が視線や頭部の位置を動かすことに起因する変化はないこととする。
　さらに、車両１０が平坦な道（道路）に位置している場合に、BM画像中に、車両１０から所定の距離だけ後方にある物体が写ることとする。
　この場合、車両１０が、上りの坂道に位置すると、BM範囲は変化しないが、車両１０の後部に設置されたカメラユニット１１の光軸が、車両１０が平坦な道に位置しているケースよりも下側（道路側）に傾く。
　その結果、車両１０が平坦な道に位置している場合は、BM範囲に入って、BM画像中に写る、車両１０から所定の距離だけ後方にある物体が、車両１０が上りの坂道に位置している場合には、BM範囲に入らず、BM画像中に写らなくなる。すなわち、車両１０から所定の距離だけ後方にある物体が、車両１０が平坦な道に位置している場合には、BM画像中に写るが、車両１０が上りの坂道に位置している場合には、BM画像中に写らなくなる。
　この場合、車両１０が上りの坂道に位置しているケースでは、車両１０の運転者がBM画像を見て確認することができる道路上の後方の範囲が、車両１０が平坦な道に位置しているケースよりも狭くなる。
　そこで、制御部３６では、BM画像の抽出制御において、車両情報に含まれるジャイロ情報に応じて、BM画像として抽出する領域R11を制御することができる。
　すなわち、制御部３６は、ジャイロ情報に応じ、車両１０の前方が上側に傾いているほど、BM画像として抽出する領域R11の位置を、撮影画像中の上方位置に変更させることができる。
　これにより、車両１０から所定の距離だけ後方にある物体が、車両１０が平坦な道に位置している場合には、BM画像に写る。そして、車両１０が上りの坂道に位置している場合には、BM画像に写らなくなることを防止することができる。なお、制御部３６では、車両１０が下りの坂道に位置している場合には、ジャイロ情報に応じて、BM画像として抽出する領域R11の位置を、撮影画像中の下方位置に変更させることができる。
　＜イメージセンサ３２の構成例＞
　図６は、図３のイメージセンサ３２の構成例を示す図である。
　イメージセンサ３２は、複数の画素５１、AD(Analog to Digital)変換部、及び、ラインメモリ５３を有する。
　複数の画素５１は、２次元平面上に配置される。図６では、複数の画素５１は、格子状に配置されている。格子状に配置された画素５１の各列には、VSL(Vertical Signal Line)が配線され、各列の画素５１は、その列に配線されたVSLに接続されている。画素５１は、そこに入射する光を、その光の光量に応じた電気信号としての画素信号に変換する。画素信号は、画素５１から読み出され、その画素５１の列に配線されたVSLに出力される。
　AD変換部５２は、例えば、格子状に配置された画素５１の列ごとに、その列の画素５１の画素信号のAD変換を担当する図示せぬADC(AD Converter)を有する。各列のADCは、その列に配線されたVSLに接続され、そのVSLに接続された画素５１から読み出された画素信号のAD変換を行う。AD変換部５２の各列のADCでのAD変換後の画素信号は、ラインメモリ５３に供給される。
　ラインメモリ５３は、AD変換部５２から供給される最大で１行分の画素５１の画素信号を記憶し、行方向に順次転送することで、最大で１行分の画素５１の画素信号を、イメージセンサ３２の外部に出力する。
　ここで、以下、適宜、図６において、上からy行目で、左からx列目の画素５１、及び、その画素５１で得られる画素信号を、画素yx、及び、画素信号yxともそれぞれ表す。
　撮像画像は、イメージセンサ３２の受光面の画素（有効画素）５１すべてで得られる画素信号で構成される画像であり、イメージセンサ３２では、撮像画像を出力する場合、例えば、最上行のa行の画素５１から、下の行に向かって、１行単位で、画素信号が読み出される。
　１行の画素５１の画素信号は、VSLを介して、AD変換部５２に供給される。AD変換部５２では、１行の画素５１の画素信号が、同時にAD変換され、AD変換後の画素信号は、ラインメモリ５３に供給されて記憶される。
　ラインメモリ５３では、AD変換部５２から供給される１行の画素５１の画素信号が記憶され、行方向に順次転送されることにより、イメージセンサ３２の外部に読み出される。
　以上の処理が、画素５１の全行に対して行われることで、１画面分の撮像画像（の画素信号）が、イメージセンサ３２の外部に読み出される。
　BM画像及びRV画像は、撮影画像の一部の領域（の画像）であるため、BM画像及びRV画像を得る場合に、イメージセンサ３２から、撮像画像の全体を読み出す必要はなく、撮影画像のBM画像及びRV画像としての一部の領域（の画素信号）だけを読み出せば十分である。
　ここで、イメージセンサ３２から、撮像画像の全体を読み出すことを、全読み出しともいい、撮影画像の一部の領域を読み出すことを、部分読み出しともいう。
　制御部３６において、撮像画像から、BM画像及びRV画像を抽出するように、イメージセンサ３２からのデータの読み出しを制御する抽出制御では、部分読み出しを行うように、イメージセンサ３２が制御される。
　例えば、BM画像となる領域R11が、図６に示すように、d行からh行までの画素５１のうちの、1列から5列までの画素５１で構成される場合、制御部３６は、d行からh行までの画素５１のうちの、1列から5列までの画素５１の画素信号を読み出すように、イメージセンサ３２を制御する。
　この場合、イメージセンサ３２では、d行の画素５１の画素信号が読み出され、AD変換部５２においてAD変換されて、ラインメモリ５３に供給される。ラインメモリ５３では、d行の画素５１のAD変換後の画素信号が記憶される。そして、ラインメモリ５３では、d行の画素５１のうちの、1行から5行までの画素５１の画素信号d1, d2, d3, d4, d5が順次転送され、イメージセンサ３２の外部に読み出される。
　ラインメモリ５３において、d行の画素５１のうちの、1行から5行までの画素５１の画素信号d1ないしd5が転送されている間、次のe行の画素５１の画素信号が、AD変換部５２においてAD変換され、以下、同様にして、d行からh行までの画素５１のうちの、1列から5列までの画素５１の画素信号が、イメージセンサ３２の外部に読み出される。
　以上のように、イメージセンサ３２では、部分読み出しにより、撮像画像から、BM画像及びRV画像を抽出することができる。
　なお、図６では、AD変換部５２のAD変換方式として、1列の画素５１の画素信号のAD変換を、1個のADCが担当する列並列AD変換方式を採用するが、AD変換部５２のAD変換方式は、列並列AD変換方式に限定されるものではない。例えば、AD変換部５２のAD変換方式としては、１画素、又は、複数画素で構成されるエリア内の画素５１の画素信号のAD変換を、1個のADCが担当するエリアAD変換方式を採用することができる。
　＜イメージセンサ３２から出力することができる画像＞
　図７は、イメージセンサ３２から出力することができる画像の例を説明する図である。
　いま、イメージセンサ３２が出力可能な最高解像度の撮影画像を、最高解像度画像ということとする。イメージセンサ３２は、例えば、解像度（画素数）Rmaxの最高解像度画像を、60fps(frame per second)（のフレームレート）以上で出力することができる性能を有することとする。
　ここでは、最高解像度画像から抽出される最高解像度（画素数）のBM画像の解像度RBMが、最高解像度画像の解像度Rmaxの1/2以下であることとする。また、最高解像度画像から抽出される最高解像度のRV画像の解像度RRVが、BM画像の解像度RBM以下であることとする。
　本実施の形態では、例えば、BM画像の解像度RBMとRV画像の解像度RRVとの加算値RBM+RRVとが、最高解像度画像の解像度Rmaxの1/2以下であるとする。この場合、解像度Rmaxで、60fps（以上）の最高解像度画像を出力可能なイメージセンサ３２を用いると、最高解像度画像の一部の部分読み出しにより得られる解像度RBMのBM画像と、解像度RRVのRV画像との両方の画像を、120fpsで出力することができる。
　＜車両１０でデータ伝送に使用することができる車両伝送帯域の例＞
　図８は、車両１０でデータ伝送に使用することができる車両伝送帯域の例を説明する図である。
　すなわち、図８は、カメラユニット１１がデータ量調整部３３でのデータ量の調整なしで出力することができるBM画像及びRV画像の例を示している。
　カメラユニット１１は、BM画像として、例えば、解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が（輝度及び色差のそれぞれについて）8ビットのカラー画像を出力することができる。また、カメラユニット１１は、RV画像として、例えば、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのカラー画像を出力することができる。
　解像度RBMで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのBM画像を、最高画質のBM画像と呼び、解像度RRVで、YUVが4:2:2フォーマットの、1画素のビット数が8ビットのRV画像を、最高画質のRV画像と呼ぶこととする。
　本実施の形態では、カメラユニット１１からデータが伝送される帯域である車両伝送帯域は、例えば、60fpsの最高画質のBM画像を２画面分だけ（リアルタイムで）伝送することができる伝送帯域になっていることとする。本実施の形態では、RBM>=RRVであるので、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によれば、例えば、60fpsの最高画質のRV画像を２画面分を伝送することができる。また、車両伝送帯域によれば、例えば、60fpsの最高画質のBM画像を１画面分と、60fpsの最高画質のRV画像を１画面分との合計で２画面分とを伝送することができる。
　図７及び図８で説明したことから、カメラユニット１１は、最高画質のBM画像及びRV画像の両方を、最大120fpsで出力することができる。
　しかしながら、本実施の形態では、車両伝送帯域は、60fpsで、最高画質のBM画像（又はRV画像）の２画面分しか伝送することができない。
　車両伝送帯域を大きくすることにより、カメラユニット１１が出力可能な、120fpsで、最高画質のBM画像及びRV画像の両方を伝送することができるが、車両伝送帯域を大きくすると、ビューイングシステムが高コスト化する。
　本技術では、ビューイングシステムが高コスト化することを抑制するため、カメラユニット１１は、BM画像やRV画像のデータ量を適切に調整し、車両伝送帯域内で、BM画像やRV画像を伝送する。
　＜車両伝送帯域が、60fpsで、最高画質のBM画像の２画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
　図９は、制御部３６によるBM画像及びRV画像のデータ量の調整制御の第１の例を説明する図である。
　図９のＡは、車両１０が前進している場合、及び、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
　この場合、制御部３６は、解像度RBMで、120fpsのBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、120fpsのBM画像を出力するとともに、RV画像の出力を制限する。
　したがって、この場合、カメラユニット１１からは、解像度RBMで、120fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、120fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
　以上から、車両１０が前進している場合、及び、高速で後進している場合には、運転者は、解像度RBMで、120fpsのBM画像、すなわち、高解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
　なお、車両１０が前進している場合、及び、高速で後退している場合には、車両１０の後部の直後の画像を含むRV画像は、表示しない。
　また、カメラユニット１１が出力する解像度RBMで、120fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
　ここで、データ量調整部３３において、画像のデータ量を調整するデータ量調整方法としては、上述のように、画像の出力を制限する（画像を出力しない）方法の他、例えば、解像度（画素数）を小さくする方法や、階調（１画素のビット数）を小さくする方法、フレームレートを小さく方法、所定の圧縮符号化方式で圧縮する方法等がある。
　データ量調整方法の中で、画像の出力の制限、解像度を小さくすること、階調を小さくすること、フレームレートを小さくすることは、データ量調整部３３に行わせる他、制御部３６において、イメージセンサ３２の抽出制御等の制御を行うことにより、イメージセンサ３２に行わせることができる。
　すなわち、画像の出力の制限、例えば、RV画像の出力の制限は、制御部３６において、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２からのデータの読み出しを制御し、画素５１（図６）からの、RV画像となる画素信号の読み出しを行わないことにより行うことができる。制御部３６は、車両１０が前進している場合、及び、高速で後進している場合、車両情報に応じて、撮影画像からのRV画像の抽出を制限するように、イメージセンサ３２の抽出制御を行うことができる。もちろん、イメージセンサ３２で制限せずに、データ量調整部３３においてRV画像の出力の制限を行っても良い。
　画像の解像度を小さくすることは、制御部３６において、例えば、画素信号を読み出す画素５１を間引くように、又は、いわゆるSF(Source Follower)加算やFD(Floating Diffusion)加算等により、複数の画素５１の画素信号を加算するビニング(Binning)を行うように、イメージセンサ３２を制御することにより行うことができる。
　階調を小さくすることは、制御部３６において、例えば、AD変換部５２（図６）のAD変換のビット数を小さくするように、イメージセンサ３２を制御することにより行うことができる。
　フレームレートを小さくすることは、制御部３６において、例えば、画素５１から画素信号を読み出すレートや、AD変換部５２でAD変換を行うレートを小さくするように、イメージセンサ３２を制御することにより行うことができる。
　図９のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
　この場合、制御部３６は、解像度RBM未満の解像度RBMMで、120fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、120fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
　したがって、この場合、カメラユニット１１からは、解像度RBMMで、120fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、120fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
　以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、120fpsのBM画像、すなわち、中解像度で、高フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
　なお、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レート（ここでは解像度RBMのBM画像を圧縮せずに120fpsで伝送する場合に必要になる伝送レート）と解像度RBMMを120fpsで伝送する場合に必要となる伝送レート（第1の伝送レート）の差の伝送帯域以下であることとする。この場合、カメラユニット１１が出力する解像度RBMMで、120fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
　ここで、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下ではない場合、データ量調整部３３では、BM画像及びRV画像の一方又は両方を、解像度RRVMで、30fpsのRV画像の伝送に必要な伝送帯域が、最大伝送レートと第1の伝送レートの差の伝送帯域以下となるように（解像度RRVMのRV画像が伝送できる程度になるように）圧縮（符号化）することができる。例えば、解像度RBMMで、120fpsのBM画像については、その一部又は全部を圧縮（符号化）することにより、データ量を少なくすることができる。解像度RRVMで、30fpsのRV画像については、カラー画像のまま、又は、白黒画像に変換し、圧縮符号化することにより、データ量を少なくすることができる。
　図９のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
　この場合、制御部３６は、解像度RBMで、60fpsのBM画像が出力され、かつ、解像度RRVで、60fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、解像度RRVで、60fpsのRV画像を出力する。
　したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像と、解像度RRVで、60fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVで、60fpsのRV画像が表示される。
　以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVで、60fpsのRV画像、すなわち、高解像度で、中フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
　車両１０が、低速で後進している場合とは、例えば、車両１０を駐車しようとしている場合等であり、運転者から死角となる車両１０の後部の直後の確認が重要である。そのため、車両１０が、低速で後進している場合には、RV画像は、車両１０が高速や中速で後進している場合よりも高解像度かつ高フレームレートで表示される。これにより、死角となる領域の確認と、死角の状況に応じた車両制御が行い易くなる。
　なお、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像、及び、解像度RRVで、60fpsのRV画像の両方の画像は、60fpsの最高画質のBM画像を２画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
　＜車両伝送帯域が、60fpsで、最高画質のBM画像の１画面分が伝送可能である場合のBM画像及びRV画像のデータ量の調整制御＞
　図１０は、制御部３６によるBM画像及びRV画像のデータ量の調整制御の第２の例を説明する図である。
　ここで、BM画像及びRV画像のデータ量の調整制御の第２の例では、車両伝送帯域が、例えば、60fps（以上）の最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる伝送帯域になっていることとする。
　図１０のＡは、車両１０が前進している場合、及び、速度の第１の閾値以上の速度である高速で後進している場合の調整制御を示している。
　この場合、制御部３６は、解像度RBMで、60fps（以上）のBM画像が出力され、かつ、RV画像の出力が制限されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMで、60fpsのBM画像を出力するとともに、RV画像の出力を制限する。
　したがって、この場合、カメラユニット１１からは、解像度RBMで、60fpsのBM画像が出力され、RV画像は出力されない。その結果、BM表示部２１では、解像度RBMで、60fpsのBM画像が表示され、RV表示部２２では、RV画像は表示されない。
　以上から、車両１０が前進している場合、及び、高速で後進している場合には、運転者は、解像度RBMで、60fpsのBM画像、すなわち、高解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。
　なお、車両１０が前進している場合、及び、高速で後進している場合には、図９のＡで説明したように、車両１０の後部の直後の画像を含むRV画像は、表示しない。
　また、カメラユニット１１が出力する解像度RBMで、60fpsのBM画像は、60fpsの最高画質（解像度RBM）のBM画像を１画面分だけ伝送することができる車両伝送帯域によって伝送することができる。
　図１０のＢは、車両１０が、第１の閾値より小さい第２の閾値以上かつ第１の閾値未満の速度である中速で後進している場合の調整制御を示している。
　この場合、制御部３６は、解像度RBM未満の解像度RBMMで、60fpsのBM画像が出力され、かつ、解像度RRV未満の解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMMで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
　したがって、この場合、カメラユニット１１からは、解像度RBMMで、60fpsのBM画像と、解像度RRVMで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMMで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
　以上から、車両１０が、中速で後進している場合には、運転者は、解像度RBMMで、60fpsのBM画像、すなわち、中解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
　なお、カメラユニット１１が出力する解像度RBMMで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な伝送帯域（以下、必要伝送帯域ともいう）が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、中速用の第１の圧縮率で圧縮することや、RV画像を、カラー画像のまま、又は、白黒画像に変換して、中速用の第１の圧縮率より高圧縮の中速用の第２の圧縮率で圧縮することができる。
　図１０のＣは、車両１０が、第１の閾値より小さい第２の閾値未満の速度である低速で後進している場合の調整制御を示している。
　この場合、制御部３６は、解像度RBMM未満の解像度RBMLで、60fpsのBM画像が出力され、かつ、解像度RRVMで、30fpsのRV画像が出力されるように、データ量調整部３３の制御としての調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整し、解像度RBMLで、60fpsのBM画像を出力するとともに、解像度RRVMで、30fpsのRV画像を出力する。
　したがって、この場合、カメラユニット１１からは、解像度RBMLで、60fpsのBM画像と、解像度RRVで、30fpsのRV画像とが出力される。その結果、BM表示部２１では、解像度RBMLで、60fpsのBM画像が表示され、RV表示部２２では、解像度RRVMで、30fpsのRV画像が表示される。
　以上から、車両１０が、低速で後進している場合には、運転者は、解像度RBMLで、60fpsのBM画像、すなわち、低解像度で、中フレームレートのBM画像により、車両１０の後部の直後より後方を確認することができる。さらに、運転者は、解像度RRVMで、30fpsのRV画像、すなわち、中解像度で、低フレームレートのRV画像により、車両１０の後部の直後を確認することができる。
　なお、カメラユニット１１が出力する解像度RBMLで、60fpsのBM画像、及び、解像度RRVMで、30fpsのRV画像の両方の画像の伝送に必要な必要伝送帯域が、60fpsの最高画質のBM画像を１画面分だけ伝送することができる車両伝送帯域に収まらない場合には、必要伝送帯域が車両伝送帯域に収まるように、BM画像を、低速用の第１の圧縮率で圧縮することや、RV画像を、（カラー画像のまま）低速用の第１の圧縮率より高圧縮の低速用の第２の圧縮率で圧縮することができる。
　ここで、低速用の第１の圧縮率としては、中速用の第１の圧縮率よりも高圧縮の圧縮率を採用することができる。中速用の第２の圧縮率、及び、低速用の第２の圧縮率としては、同一の圧縮率を採用することができる。この場合、低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率の関係は、低速用の第２の圧縮率＝中速用の第２の圧縮率＞低速用の第１の圧縮率＞中速用の第１の圧縮となる。但し、ここでは、圧縮率の値が大きいほど、高圧縮であるとする。低速用の第１の圧縮率及び第２の圧縮率、並びに、中速の第１の圧縮率及び第２の圧縮率それぞれでの圧縮後のデータ量の関係は、低速用の第２の圧縮率による圧縮後のデータ量＝中速用の第２の圧縮率による圧縮後のデータ量＜低速用の第１の圧縮率による圧縮後のデータ量＜中速用の第１の圧縮による圧縮後のデータ量となる。
　以上、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像のデータ量を調整する調整制御について説明した。調整制御の方法は、図９及び図１０で説明した方法に限定されるものではない。すなわち、調整制御の方法は、車両伝送帯域や、イメージセンサ３２の性能、BM表示部２１及びRV表示部２２の仕様等に応じて、適宜設定することができる。データ量は表示されるBM画像の画質やRV画像の画質と関係しているため、車両１０の車速及び走行方向（前進、後進）に応じて、BM画像及びRV画像の画質を変えていると言える。
　また、調整制御において、BM画像及びRV画像の解像度を小さくすることは、BM画像及びRV画像を構成する画素数を少なくすることにより行うこともできるし、BM画像及びRV画像の（不可逆な）圧縮を、画素数を変化させずに行うことにより行うこともできる。
　BM画像及びRV画像を圧縮することにより、BM画像及びRV画像の解像度を小さくする場合、BM画像及びRV画像を圧縮する圧縮率としては、圧縮及び伸張により得られる、高周波成分等の一部の周波数成分が失われたBM画像及びRV画像の実質的な解像度（画像が有する最高の周波数成分）が、図９や図１０で説明した解像度（画素数）と等価になるような圧縮率を採用することができる。
　＜表示処理＞
　図１１は、図３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
　ステップＳ１１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ１２に進む。
　ステップＳ１２では、取得部３５は、車両１０から車両情報を取得し、制御部３６に供給して、処理は、ステップＳ１３に進む。
　ステップＳ１３では、制御部３６は、取得部３５からの車両情報に応じて、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部３６の抽出制御に従い、撮影画像から、BM画像及びRV画像を抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部３３に供給して、処理は、ステップＳ１３からステップＳ１４に進む。
　ステップＳ１４では、制御部３６は、取得部３５からの車両情報に応じて、データ量調整部３３の調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部３３は、データ量が調整されたBM画像及びRV画像を、出力部３４に供給して、処理は、ステップＳ１４からステップＳ１５に進む。
　ステップＳ１５において、出力部３４は、データ量調整部３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力し、BM画像を、BM表示部２１に伝送するとともに、RV画像を、RV表示部２２に伝送して、処理は、ステップＳ１６に進む。
　ステップＳ１６では、BM表示部２１は、出力部３４からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部３４からのRV画像を、RV表示部２２の仕様に従って表示する。
　＜ビューイングシステムの第２の構成例＞
　図１２は、車両１０に搭載されたビューイングシステムの第２の構成例を示すブロック図である。
　なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１２において、ビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、制御部３６、及び、メモリ７１を有する。
　したがって、図１２のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし制御部３６を有する点で、図３の場合と共通する。
　但し、図１２のビューイングシステムは、カメラユニット１１が、メモリ７１を新たに有する点で、図３の場合と相違する。
　図１２のビューイングシステムにおいて、イメージセンサ３２は、最高解像度画像（最高解像度の撮影画像）を、メモリ７１に供給し、メモリ７１は、イメージセンサ３２からの最高解像度画像を記憶する。そして、制御部３６は、イメージセンサ３２ではなく、メモリ７１に対して、抽出制御としての、メモリ７１からのデータ（画素信号）の読み出しの制御を行うことで、図３の場合と同様に、最高解像度画像から、BM画像及びRV画像を抽出させる。
　メモリ７１に記憶された最高解像度画像から抽出されたBM画像及びRV画像は、データ量調整部３３に供給される。
　なお、図１２のビューイングシステムにおいて、図９のＡ及び図１０のＡで説明したような、車両１０が前進している場合、及び、高速で後進している場合のRV画像の出力の制限は、データ量調整部３３において、RV画像の出力を制限することにより行う他、メモリ７１の抽出制御において、最高解像度画像からのRV画像の抽出を制限する（RV画像を読み出さない）ことにより行うことができる。
　また、図１２のビューイングシステムにおいて、BM画像及びRV画像を表示する表示処理は、図１１で説明した場合と同様であるため、説明を省略する。
　但し、図１２のビューイングシステムでは、ステップＳ１１において、イメージセンサ３２が撮影画像を撮影した後、その撮影画像が、メモリ７１に記憶される。また、ステップＳ１３において、制御部３６は、取得部３５からの車両情報に応じて、イメージセンサ３２ではなく、メモリ７１の抽出制御を行い、これにより、メモリ７１に記憶された撮影画像から、BM画像及びRV画像が抽出される。
　＜ビューイングシステムの第３の構成例＞
　図１３は、車両１０に搭載されたビューイングシステムの第３の構成例を示すブロック図である。
　なお、図中、図３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図１３において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、及び、制御部８１を有する。
　したがって、図１３のビューイングシステムは、カメラユニット１１、BM表示部２１、及び、RV表示部２２を有し、カメラユニット１１が、光学系３１ないし取得部３５を有する点で、図３の場合と共通する。
　但し、図１３のビューイングシステムは、抽出部８２が新たに設けられている点、及び、カメラユニット１１において、制御部３６に代えて、制御部８１が設けられている点で、図３の場合と相違する。
　なお、図１３では、抽出部８２は、カメラユニット１１の外部に設けられているが、カメラユニット１１の内部に設けることができる。
　制御部８１には、取得部３５から、車両情報が供給される。車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。但し、この例では、取得部３５から供給される車両情報には、運転者の視線及び頭部の位置は、含まれない。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部８２に入力される。
　制御部８１は、制御部３６と同様に、取得部３５からの車両情報に応じて、イメージセンサ３２の抽出制御、及び、データ量調整部３３の調整制御を行う。
　但し、制御部８１は、抽出制御において、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、BM画像として抽出する領域R11（の位置）を制御する代わりに、領域R11よりサイズが大きい領域を、BM画像として抽出させる。
　したがって、図１３において、出力部３４が出力するBM画像のサイズは、図３及び図１２において、出力部３４が出力するBM画像のサイズよりも大きい。
　図１３において、出力部３４が出力する領域R11より大きいサイズのBM画像は、抽出部８２に供給される。
　抽出部８２には、出力部３４から領域R11より大きいサイズのBM画像が供給される他、車両情報のうちの、運転者の視線及び頭部の位置が供給される。
　抽出部８２は、運転者の視線及び頭部の位置のうちの一方又は両方に応じて、出力部３４からの領域R11より大きいサイズのBM画像の一部の領域、すなわち、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出し、BM表示部２１に供給する。
　＜撮影画像からのBM画像及びRV画像の抽出制御＞
　図１４は、制御部８１による、撮影画像からのBM画像及びRV画像の抽出制御の例を説明する図である。
　図１４は、図４と同様に、光学系３１のイメージサークルと、イメージセンサ３２が撮影する撮影画像（イメージセンサ３２の受光面）とを示している。
　制御部８１は、抽出制御において、制御部３６と同様に、領域R12を、RV画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
　また、制御部８１は、抽出制御において、撮像画像から、領域R11ではなく、領域R11のサイズよりも大きいサイズの領域R31を、BM画像として抽出するように、イメージセンサ３２からのデータの読み出しを制御する。
　領域R31は、仮に、車両１０に、室内バックミラーが設置されていたならば、運転者が視線や頭部を移動することにより、室内バックミラーによって運転者が見ることができる最大の範囲を包含する領域である。領域R11は、運転者の視線や頭部の位置に応じて位置が変更される可変の領域であるが、領域R31は、固定の領域である。
　抽出部８２では、以上のような領域R31から、運転者の視線及び頭部の位置のうちの一方又は両方に応じた位置の領域であって、領域R11と同一サイズの領域が、BM表示部２１に表示させる最終的なBM画像として抽出される。すなわち、抽出部８２では、領域R31から、車両１０に室内バックミラーが設置されていたならば、運転者が、その室内バックミラーによって観察するであろう領域R11が、BM画像として抽出される。
　＜表示処理＞
　図１５は、図１３のビューイングシステムが行うBM画像及びRV画像を表示する表示処理の例を説明するフローチャートである。
　ステップＳ２１において、イメージセンサ３２は、撮影画像を撮影し、処理は、ステップＳ２２に進む。
　ステップＳ２２では、取得部３５は、車両１０から車両情報を取得し、制御部３６に供給して、処理は、ステップＳ２３に進む。
　ステップＳ２３では、制御部３６は、イメージセンサ３２の抽出制御を行う。イメージセンサ３２は、制御部３６の抽出制御に従い、図１４で説明したように、撮影画像から、領域R31及びR12を、BM画像及びRV画像としてそれぞれ抽出する。そして、イメージセンサ３２は、BM画像及びRV画像を、データ量調整部３３に供給して、処理は、ステップＳ２３からステップＳ２４に進む。
　ステップＳ２４では、制御部３６は、取得部３５からの車両情報に応じて、データ量調整部３３の調整制御を行う。データ量調整部３３は、制御部３６の調整制御に従い、イメージセンサ３２からのBM画像及びRV画像のデータ量を調整する。そして、データ量調整部３３は、データ量が調整されたBM画像及びRV画像を、出力部３４に供給して、処理は、ステップＳ２４からステップＳ２５に進む。
　ステップＳ２５において、出力部３４は、データ量調整部３３からのデータ量が調整されたBM画像及びRV画像を、カメラユニット１１の外部に出力して、処理は、ステップＳ２６に進む。これにより、図１３では、BM画像は、抽出部８２に供給され、RV画像は、RV表示部２２に伝送される。
　ステップＳ２６では、抽出部８２は、車両１０から、車両情報に含まれる運転者の視線及び頭部の位置を取得し、処理は、ステップＳ２７に進む。
　ステップＳ２７では、抽出部８２は、出力部３４からのBM画像から、運転者の視線及び頭部の位置に応じた位置の、領域R11と同一サイズの領域を、BM表示部２１に表示させる最終的なBM画像として抽出する。そして、抽出部８２は、最終的なBM画像を、BM表示部２１に伝送して、処理は、ステップＳ２７からステップＳ２８に進む。
　ステップＳ２８では、BM表示部２１は、抽出部８２からのBM画像を、BM表示部２１の仕様に従って表示するとともに、RV表示部２２は、出力部３４からのRV画像を、RV表示部２２の仕様に従って表示する。
　＜ビューイングシステムの第４の構成例＞
　図１６は、車両１０に搭載されたビューイングシステムの第４の構成例を示すブロック図である。
　なお、図中、図１２又は図１３の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。取得部３５にて取得される車両情報としては、例えば、走行情報や、BM表示部２１及びRV表示部２２の仕様、ジャイロ情報等がある。なお、車両１０の運転者の視線及び頭部の位置は、車両情報の一部として抽出部８２に入力される。
　図１６において、ビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１は、光学系３１、イメージセンサ３２、データ量調整部３３、出力部３４、取得部３５、メモリ７１、及び、制御部８１を有する。
　したがって、図１６のビューイングシステムは、カメラユニット１１、BM表示部２１、RV表示部２２、及び、抽出部８２を有し、カメラユニット１１が、光学系３１ないし取得部３５、及び、制御部８１を有する点で、図１３の場合と共通する。
　但し、図１６のビューイングシステムは、図１２のメモリ７１を新たに有する点で、図１３の場合と相違する。
　図１６のビューイングシステムでは、図１２のビューイングシステムと同様に、メモリ７１が、イメージセンサ３２からの最高解像度画像（撮像画像）を記憶し、抽出制御が、イメージセンサ３２ではなく、メモリ７１に対して行われることを除いて、図１３の場合と同様の処理が行われる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述した制御部３６及び８１や、データ量調整部３３、抽出部８２の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　撮影を行うイメージセンサと、
　前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
　車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
　を備える撮影装置。
　＜２＞
　前記制御部は、前記抽出制御として、前記イメージセンサからのデータの読み出しの制御を行う
　＜１＞に記載の撮影装置。
　＜３＞
　前記制御部は、前記抽出制御として、前記イメージセンサが出力する前記撮影画像を記憶する記憶部からのデータの読み出しの制御を行う
　＜１＞に記載の撮影装置。
　＜４＞
　前記制御部は、前記車両情報に応じて、前記抽出制御を行う
　＜１＞ないし＜３＞のいずれかに記載の撮影装置。
　＜５＞
　前記車両情報は、前記車両の走行方向を含み、
　前記制御部は、前記車両の走行方向が前進である場合、前記撮影画像からの前記第２の画像の抽出を制限する
　＜４＞に記載の撮影装置。
　＜６＞
　前記車両情報は、前記車両の運転者の視線又は頭部の位置を含み、
　前記制御部は、前記車両の運転者の視線又は頭部の位置に応じて、前記撮影画像から前記第１の画像として抽出する領域を制御する
　＜４＞に記載の撮影装置。
　＜７＞
　前記データ量調整部は、前記第２の画像の出力を制限することにより、前記第２の画像のデータ量を調整する
　＜１＞ないし＜６＞のいずれかに記載の撮影装置。
　＜８＞
　前記データ量調整部は、前記第１の画像又は前記第２の画像を圧縮することにより、前記第１の画像又は前記第２の画像のデータ量を調整する
　＜１＞ないし＜７＞のいずれかに記載の撮影装置。
　＜９＞
　前記車両の運転者の視線又は頭部の位置に応じて、前記第１の画像の一部の領域を、前記第１の表示部に表示させる画像として抽出する抽出部をさらに備える
　＜１＞ないし＜３＞のいずれかに記載の撮影装置。
　＜１０＞
　前記車両情報は、前記車両の走行方向又は車速を含む
　＜１＞ないし＜９＞のいずれかに記載の撮影装置。
　＜１１＞
　前記第１の表示部は、クラスIミラーの代替となる表示部である
　＜１＞ないし＜１０＞のいずれかに記載の撮影装置。
　＜１２＞
　前記第１の画像は、前記車両の後部の直後より後方が写る画像である
　＜１＞ないし＜１１＞のいずれかに記載の撮影装置。
　＜１３＞
　前記第２の画像は、前記車両の後部の直後が写る画像である
　＜１＞ないし＜１２＞のいずれかに記載の撮影装置。
　＜１４＞
　撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、
　車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することと
　を含む画像処理方法。
　＜１５＞
　撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
　車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
　して、コンピュータを機能させるためのプログラム。
　１０　車両，　１１　カメラユニット，　２１　BM表示部，　２２　RV表示部，　２３　車内カメラ，　３１　光学系，　３２　イメージセンサ，　３３　データ量調整部，　３４　出力部，　３５　取得部，　３６　制御部，　５１　画素，　５２　AD変換部，　５３　ラインメモリ，　７１　メモリ，　８１　制御部，　８２　抽出部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (15)

  1. 　撮影を行うイメージセンサと、
    　前記イメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
    　車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
    　を備える撮影装置。
  2. 　前記制御部は、前記抽出制御として、前記イメージセンサからのデータの読み出しの制御を行う
    　請求項１に記載の撮影装置。
  3. 　前記制御部は、前記抽出制御として、前記イメージセンサが出力する前記撮影画像を記憶する記憶部からのデータの読み出しの制御を行う
    　請求項１に記載の撮影装置。
  4. 　前記制御部は、前記車両情報に応じて、前記抽出制御を行う
    　請求項１に記載の撮影装置。
  5. 　前記車両情報は、前記車両の走行方向を含み、
    　前記制御部は、前記車両の走行方向が前進である場合、前記撮影画像からの前記第２の画像の抽出を制限する
    　請求項４に記載の撮影装置。
  6. 　前記車両情報は、前記車両の運転者の視線又は頭部の位置を含み、
    　前記制御部は、前記車両の運転者の視線又は頭部の位置に応じて、前記撮影画像から前記第１の画像として抽出する領域を制御する
    　請求項４に記載の撮影装置。
  7. 　前記データ量調整部は、前記第２の画像の出力を制限することにより、前記第２の画像のデータ量を調整する
    　請求項１に記載の撮影装置。
  8. 　前記データ量調整部は、前記第１の画像又は前記第２の画像を圧縮することにより、前記第１の画像又は前記第２の画像のデータ量を調整する
    　請求項１に記載の撮影装置。
  9. 　前記車両の運転者の視線又は頭部の位置に応じて、前記第１の画像の一部の領域を、前記第１の表示部に表示させる画像として抽出する抽出部をさらに備える
    　請求項１に記載の撮影装置。
  10. 　前記車両情報は、前記車両の走行方向又は車速を含む
    　請求項１に記載の撮影装置。
  11. 　前記第１の表示部は、クラスIミラーの代替となる表示部である
    　請求項１に記載の撮影装置。
  12. 　前記第１の画像は、前記車両の後部の直後より後方が写る画像である
    　請求項１に記載の撮影装置。
  13. 　前記第２の画像は、前記車両の後部の直後が写る画像である
    　請求項１に記載の撮影装置。
  14. 　撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行うことと、
    　車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整することと
    　を含む画像処理方法。
  15. 　撮影を行うイメージセンサにより撮影される撮影画像から、第１の表示部で表示される第１の画像と、第２の表示部で表示される第２の画像とを抽出する抽出制御を行う制御部と、
    　車両から取得される車両情報に応じて、前記第１の画像及び前記第２の画像のデータ量を調整するデータ量調整部と
    　して、コンピュータを機能させるためのプログラム。
PCT/JP2019/041036 2018-10-31 2019-10-18 撮影装置、画像処理方法、及び、プログラム WO2020090511A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020553780A JP7282798B2 (ja) 2018-10-31 2019-10-18 撮影装置、画像処理方法、及び、プログラム
US17/288,428 US11722645B2 (en) 2018-10-31 2019-10-18 Image-capturing apparatus, image processing method, and program
EP19880646.5A EP3876516A4 (en) 2018-10-31 2019-10-18 PHOTOGRAPHING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
CN201980070024.5A CN113039778B (zh) 2018-10-31 2019-10-18 图像捕获装置、图像处理方法和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-204836 2018-10-31
JP2018204836 2018-10-31

Publications (1)

Publication Number Publication Date
WO2020090511A1 true WO2020090511A1 (ja) 2020-05-07

Family

ID=70461837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041036 WO2020090511A1 (ja) 2018-10-31 2019-10-18 撮影装置、画像処理方法、及び、プログラム

Country Status (5)

Country Link
US (1) US11722645B2 (ja)
EP (1) EP3876516A4 (ja)
JP (1) JP7282798B2 (ja)
CN (1) CN113039778B (ja)
WO (1) WO2020090511A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023006832A1 (en) * 2021-07-28 2023-02-02 Motherson Innovations Company Ltd. Camera monitor system, vehicle therewith and method for adjusting the same

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3876516A4 (en) * 2018-10-31 2021-12-15 Sony Group Corporation PHOTOGRAPHING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
JP7434730B2 (ja) * 2019-06-14 2024-02-21 マツダ株式会社 車両用情報表示装置及び車両用制御装置
KR20210130330A (ko) * 2020-04-21 2021-11-01 삼성전자주식회사 호스트 차량을 제어하는 전자 장치 및 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312301A (ja) 1998-04-28 1999-11-09 Hitachi Ltd 磁気ディスクメモリ装置
JP2006254318A (ja) * 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018012439A (ja) * 2016-07-21 2018-01-25 株式会社富士通ゼネラル 後方視界補助装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312300A (ja) 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置
US8351513B2 (en) * 2006-12-19 2013-01-08 Allot Communications Ltd. Intelligent video signal encoding utilizing regions of interest information
JP5194679B2 (ja) * 2007-09-26 2013-05-08 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US8890955B2 (en) * 2010-02-10 2014-11-18 Magna Mirrors Of America, Inc. Adaptable wireless vehicle vision system based on wireless communication error
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
JP6245274B2 (ja) * 2013-12-03 2017-12-13 富士通株式会社 表示制御装置、表示制御方法、及びプログラム
KR102124483B1 (ko) * 2014-05-12 2020-06-19 엘지전자 주식회사 비히클 및 그 제어 방법
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system
WO2017187801A1 (ja) * 2016-04-27 2017-11-02 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN107666467B (zh) 2016-07-29 2020-11-06 华为技术有限公司 资源分配方法、设备和系统
EP3876516A4 (en) * 2018-10-31 2021-12-15 Sony Group Corporation PHOTOGRAPHING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
EP3876515A4 (en) 2018-10-31 2021-12-22 Sony Group Corporation IMAGING DEVICE, CONTROL PROCESS, AND PROGRAM

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11312301A (ja) 1998-04-28 1999-11-09 Hitachi Ltd 磁気ディスクメモリ装置
JP2006254318A (ja) * 2005-03-14 2006-09-21 Omron Corp 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
WO2018012299A1 (ja) * 2016-07-13 2018-01-18 ソニー株式会社 画像生成装置、画像生成方法、及び、プログラム
JP2018012439A (ja) * 2016-07-21 2018-01-25 株式会社富士通ゼネラル 後方視界補助装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023006832A1 (en) * 2021-07-28 2023-02-02 Motherson Innovations Company Ltd. Camera monitor system, vehicle therewith and method for adjusting the same

Also Published As

Publication number Publication date
EP3876516A4 (en) 2021-12-15
US11722645B2 (en) 2023-08-08
EP3876516A1 (en) 2021-09-08
US20210400241A1 (en) 2021-12-23
JPWO2020090511A1 (ja) 2021-10-14
CN113039778A (zh) 2021-06-25
CN113039778B (zh) 2024-01-02
JP7282798B2 (ja) 2023-05-29

Similar Documents

Publication Publication Date Title
WO2020090511A1 (ja) 撮影装置、画像処理方法、及び、プログラム
US10462372B2 (en) Imaging device, imaging system, and imaging method
EP2293240B1 (en) Image processing device and imaging apparatus
CN109690628B (zh) 图像处理设备
US5978023A (en) Color video camera system and method for generating color video signals at increased line and/or frame rates
US20090303351A1 (en) Dynamic image display method, dynamic image display system, and wide-angle dynamic image capturing device
US7932934B2 (en) Image processing method and imaging apparatus using the same
US7388607B2 (en) Digital still camera
WO2020090512A1 (ja) 撮影装置、制御方法、及び、プログラム
KR100972360B1 (ko) 전방위 감시 카메라 시스템
US8390709B2 (en) Camera and method for adjusting photographing time and mode
JP4504412B2 (ja) 画像処理装置及び画像処理方法
JP5872171B2 (ja) カメラシステム
KR102300651B1 (ko) 차량 및 그 제어 방법
JP2004289225A (ja) 撮像装置
JP6563694B2 (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
WO2020003630A1 (ja) 画像処理装置、画像処理方法、ドライブレコーダー
KR20180028354A (ko) 다중 뷰 모드에서의 영상 디스플레이 방법
JP4133878B2 (ja) デジタルカメラ及び画像信号生成方法
JP2005109725A (ja) 映像監視システム
JP2007049566A (ja) 撮像装置と映像信号生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19880646

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553780

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019880646

Country of ref document: EP

Effective date: 20210531