WO2016157873A1 - 撮像装置、撮像システム、および車両 - Google Patents

撮像装置、撮像システム、および車両 Download PDF

Info

Publication number
WO2016157873A1
WO2016157873A1 PCT/JP2016/001768 JP2016001768W WO2016157873A1 WO 2016157873 A1 WO2016157873 A1 WO 2016157873A1 JP 2016001768 W JP2016001768 W JP 2016001768W WO 2016157873 A1 WO2016157873 A1 WO 2016157873A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
digital image
quality characteristic
control unit
image signal
Prior art date
Application number
PCT/JP2016/001768
Other languages
English (en)
French (fr)
Inventor
圭俊 中田
秀弥 関
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to JP2017509286A priority Critical patent/JPWO2016157873A1/ja
Priority to US15/561,600 priority patent/US20180069998A1/en
Priority to EP16771761.0A priority patent/EP3276939A4/en
Publication of WO2016157873A1 publication Critical patent/WO2016157873A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to an imaging device, an imaging system, and a vehicle.
  • Patent Document 2 a method of outputting a signal by determining that the light receiving element of the camera is broken when the image data from the CCD camera has not changed a predetermined number of times.
  • An imaging apparatus is based on an image processing unit that generates a first digital image, a DA conversion unit that converts the first digital image into an analog image and outputs the analog image, and the analog image.
  • An input / output unit that receives reference information indicating an image quality characteristic value of the second digital image to be generated and an operation of the image processing unit to control the image quality characteristic value of the second digital image to be a predetermined target value
  • a control unit that adjusts image quality characteristics of the first digital image so as to approach
  • An imaging system includes: an imaging device that generates a first digital image, converts the first digital image into an analog image, and outputs the analog image; receives the analog image; A display device that converts the image into a second digital image and outputs reference information indicating an image quality characteristic value of the second digital image to the imaging device, the imaging device including the second digital image The image quality characteristic of the first digital image is adjusted so that the image quality characteristic value of the first digital image approaches a predetermined target value.
  • a vehicle generates a first digital image, converts the first digital image into an analog image, and outputs the analog image.
  • the analog image is received, and the analog image is received.
  • a display device that outputs information indicating the image quality characteristic value of the second digital image to the imaging device, and the imaging device includes the second digital image.
  • the image quality characteristic of the first digital image is adjusted so that the image quality characteristic value of the digital image approaches a predetermined target value.
  • FIG. 10 It is a functional block diagram of an imaging device and a display device according to a third embodiment. It is a figure which shows the test pattern image which the imaging device of FIG. 9 outputs. It is a figure which shows the operation
  • movement flow of the imaging device of FIG. 10 is a table illustrating a relationship between a comparison performed by the imaging apparatus of FIG. 9 and an abnormal part.
  • the camera system 11 includes a display device 12 and at least one imaging device 13.
  • the camera system 11 includes four imaging devices 13.
  • the four imaging devices 13 are particularly distinguished, they are referred to as a front camera 13a, a rear camera 13b, a left side camera 13c, and a right side camera 13d, respectively.
  • the front camera 13a is disposed on the vehicle 10 so as to be able to image a peripheral region in front of the vehicle 10.
  • the rear camera 13b is arranged on the vehicle 10 so as to be able to capture an image of a peripheral area behind the vehicle 10.
  • the left side camera 13c is arranged vertically downward, for example, in the left door mirror so as to be able to image the peripheral region on the left side of the vehicle 10.
  • the right side camera 13d is arranged vertically downward in, for example, the right door mirror so as to be able to capture an image of the peripheral area on the right side of the vehicle 10.
  • the display device 12 is disposed at a position that can be viewed from the driver's seat.
  • the imaging device 13 includes a lens having a wide angle of view, such as a fisheye lens, and can capture a peripheral region of the vehicle 10 at a wide angle.
  • the imaging range of the front camera 13 a includes a front area FA, a left front area FLA, and a right front area FRA of the vehicle 10.
  • the imaging range of the rear camera 13b includes a rear area ReA, a left rear area ReLA, and a right rear area ReRA of the vehicle 10.
  • the imaging range of the left side camera 13c includes a left side area LA, a left front area FLA, and a left rear area ReLA of the vehicle 10.
  • the imaging range of the right side camera 13d includes a right side area RA, a right front area FRA, and a right rear area ReRA of the vehicle 10.
  • the display device 12 includes an input / output unit 14, an AD conversion unit 15, a display unit 16, and a display device control unit 17.
  • the input / output unit 14 is an interface for inputting and outputting information via a dedicated line 18 such as an analog video signal line and a network 19 such as a CAN (Controller Area Network).
  • a dedicated line 18 such as an analog video signal line
  • a network 19 such as a CAN (Controller Area Network).
  • the AD conversion unit 15 is, for example, an ADC (Analog-to-Digital Converter), and performs A / D conversion on the analog image signal input from the imaging device 13 via the dedicated line 18 and the input / output unit 14 to generate a digital image.
  • a signal (second digital image signal) is generated.
  • the display unit 16 includes an LCD (Liquid Crystal Display), for example, and can display a real-time moving image.
  • the display unit 16 may be configured as a touch panel, for example, and may function as an interface that accepts user operations.
  • the display device control unit 17 is, for example, a general-purpose CPU (Central Processing Unit) that executes specific processing by reading a dedicated microprocessor or a specific program.
  • the display device control unit 17 controls the operation of the entire display device 12.
  • the display device control unit 17 transmits information (reference information) indicating the image quality characteristic value of the second digital image signal to the input / output unit 14 and The data is output to the imaging device 13 via the network 19.
  • the image quality characteristic value is a parameter to be controlled in arbitrary image processing (hereinafter also referred to as image quality adjustment processing) for adjusting the image quality characteristic of the image signal, and is arbitrarily determined according to the image quality adjustment processing.
  • image quality characteristic adjustment is described as being exposure adjustment or white balance adjustment, for example, but may include arbitrary image quality adjustment processing such as color correction.
  • the image quality characteristic value includes, for example, the average value of the gain of the color signal component, the average value of the gain of the luminance signal component, or the color temperature in all or a part of the image based on the digital image signal. Not limited.
  • the display device control unit 17 When the display device control unit 17 receives an adjustment completion notification described later from the imaging device 13, the display device control unit 17 performs predetermined images such as gamma correction, distortion correction, clipping processing, and viewpoint conversion processing on the second digital image signal. Adjustment is performed, and an image based on the second digital image signal subjected to image adjustment is displayed on the display unit 16.
  • predetermined images such as gamma correction, distortion correction, clipping processing, and viewpoint conversion processing
  • the imaging device 13 includes an optical system 20, an imaging element 21, an image processing unit 22, a DA conversion unit 23, an input / output unit 24, and a camera control unit 25.
  • the optical system 20 includes a diaphragm and a plurality of lenses, and forms a subject image.
  • the optical system 20 has a wide angle of view and can form a subject image in the peripheral region of the vehicle 10.
  • the image sensor 21 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, which captures a subject image formed by the optical system 20 and generates an analog image signal.
  • CMOS Complementary Metal Oxide Semiconductor
  • the image processing unit 22 includes a processor dedicated to image processing, such as AFE (Analog Front End) and DSP (Digital Signal Processor).
  • the image processing unit 22 performs pre-stage image processing such as CDS (Correlated Double Sampling), gain adjustment (AGC: Auto Gain Control), and A / D conversion on the analog image signal generated by the image sensor 21.
  • a digital image signal (first digital image signal) is generated.
  • the image processing unit 22 performs predetermined subsequent image processing such as exposure adjustment, white balance adjustment, color interpolation, color correction, and gamma correction on the first digital image signal.
  • the image processing unit 22 further performs exposure adjustment or white adjustment on the first digital image signal subjected to the subsequent image processing in accordance with the reference signal received from the display device 12 via the network 19 and the input / output unit 24. Adjust image quality characteristics such as balance adjustment. Details of the adjustment of the image quality characteristic of the first digital image signal will be described later.
  • the image processing unit 22 may determine a digital image signal having a predetermined image quality characteristic value, such as a test pattern image, as the first digital image.
  • the DA converter 23 is, for example, a DAC (Digital-to-Analog Converter), and converts the first digital image signal into an analog image signal for output. Then, the image processing unit 22 outputs the analog image signal to the display device 12 via the input / output unit 24 and the dedicated line 18.
  • DAC Digital-to-Analog Converter
  • the input / output unit 24 is an interface for inputting and outputting information via the dedicated line 18 and the network 19 such as CAN.
  • the camera control unit 25 is, for example, a dedicated microprocessor or a general-purpose CPU that executes a specific process by reading a specific program.
  • the camera control unit 25 controls the operation of the entire imaging device 13.
  • the camera control unit 25 controls the operation of the image sensor 21 and periodically generates an analog image signal at, for example, 30 fps.
  • the camera control unit 25 controls the operation of the image processing unit 22 to perform pre-stage image processing on the analog signal generated by the image sensor 21 to generate a first digital image.
  • the camera control unit 25 controls the operation of the image processing unit 22 and performs subsequent image processing on the first digital image.
  • the camera control unit 25 controls the operations of the image processing unit 22 and the DA conversion unit 23 to adjust the image quality characteristics of the first digital image signal, in this embodiment, exposure adjustment or white balance adjustment. This will be specifically described below.
  • the camera control unit 25 temporarily holds the image quality characteristic value of the first digital image signal subjected to the subsequent image processing until, for example, an analog image signal of the next frame is generated.
  • the temporarily held image quality characteristic value is set as a target value to be described later.
  • the camera control unit 25 controls the operation of the DA conversion unit 23 to convert an analog image signal obtained by D / A converting the first digital image signal subjected to the subsequent image processing into the input / output unit 24 and the dedicated line. 18 to the display device 12.
  • the camera control unit 25 receives reference information from the display device 12 via the network 19 and the input / output unit 24 in accordance with the output of the analog image signal generated by the DA conversion unit 23.
  • the reference information is information indicating the image quality characteristic value of the second digital image signal generated by the display device 12.
  • the camera control unit 25 determines whether or not the image quality characteristic value of the second digital image signal indicated in the reference information substantially matches a predetermined target value.
  • the image quality characteristic value substantially coincides with the target value means, for example, that the image quality characteristic value falls within a numerical value range that can be regarded as substantially coincident with the target value.
  • the target value is the image quality characteristic value of the first digital image signal temporarily held.
  • the image quality characteristic value of the first digital image signal may be an image quality characteristic value in the entire area of the image based on the first digital image signal or a partial area corresponding to the reference information.
  • the camera control unit 25 When the image quality characteristic value does not substantially match the target value, the camera control unit 25 further adjusts the exposure for the first digital image signal so that the image quality characteristic value of the second digital image signal approaches the target value. Or adjust the white balance. Subsequently, the camera control unit 25 controls the operation of the DA conversion unit 23 to convert an analog image signal obtained by D / A conversion of the first digital image signal subjected to exposure adjustment or white balance adjustment into the input / output unit 24. And output to the display device 12 via the dedicated line 18. The camera control unit 25 receives reference information from the display device 12 according to the output of the analog image signal, and repeatedly performs adjustment of the image quality characteristic of the first digital image signal to perform feedback control.
  • the camera control unit 25 ends the adjustment of the image quality characteristic of the first digital image signal and displays an adjustment completion notification. Output to the device 12.
  • the image quality characteristic value of the second digital image signal indicated in the reference information is temporarily stored as a target value, that is, post-stage image processing is performed.
  • Feedback control is performed so as to substantially match the image quality characteristic value of the first digital image signal.
  • the feedback control may be repeated until the image quality characteristic value of the second digital image signal substantially matches the target value as described above, or may be performed with an upper limit (for example, once) for the number of feedback repetitions. It may be broken.
  • Step S100 The imaging device 13 captures a subject image and generates an analog image signal.
  • Step S101 The imaging device 13 performs pre-stage image processing on the analog image signal to generate a first digital image signal.
  • Step S102 The imaging device 13 performs subsequent image processing on the first digital image signal.
  • the imaging device 13 temporarily holds the image quality characteristic value of the first digital image signal subjected to the subsequent image processing.
  • Step S103 The imaging device 13 converts the first digital image signal into an analog image signal for output.
  • Step S104 The imaging device 13 outputs the analog image signal in step S103 to the display device 12 via the dedicated line 18.
  • Step S105 The display device 12 performs A / D conversion on the analog image signal in step S104 to generate a second digital image signal.
  • Step S106 The display device 12 outputs reference information indicating the image quality characteristic value of the second digital image signal to the imaging device 13 via the network 19.
  • Step S107 The imaging device 13 determines whether or not the image quality characteristic value of the second digital image signal indicated in the received reference information substantially matches a predetermined target value.
  • the target value is the image quality characteristic value temporarily held in step S102.
  • the process proceeds to step S108.
  • the process proceeds to step S109.
  • Step S108 When the image quality characteristic value does not substantially match the target value in Step S107 (Step S107-No), the imaging device 13 sets the image quality characteristic value of the second digital image signal indicated in the reference information to the target value. The image quality characteristics of the first digital image signal are adjusted so as to approach each other, and in this embodiment, exposure adjustment or white balance adjustment is performed. Then, the imaging apparatus 13 returns to step S103 and repeatedly performs adjustment of the image quality characteristic of the first digital image signal.
  • Step S109 When the image quality characteristic value substantially matches the target value in Step S107 (Step S107-Yes), the imaging device 13 outputs an adjustment end notification to the display device 12.
  • Step S110 Upon receiving the adjustment end notification, the display device 12 performs image adjustment such as gamma correction on the second digital image signal generated in Step S105.
  • Step S111 The display device 12 displays an image based on the second digital image signal subjected to image adjustment in step S110.
  • a digital image signal generated by the vehicle-mounted camera is converted into an analog image signal such as a video signal and output to an output destination such as a display device.
  • the digital image signal generated by the in-vehicle camera may be affected by the influence of the D / A conversion error of the in-vehicle camera and the disturbance in the transmission process of the analog image signal.
  • the digital image signal before D / A conversion in the in-vehicle camera and the digital image signal after A / D conversion at the output destination do not necessarily match. Therefore, in an imaging system that converts a digital image signal into an analog image signal and outputs it, there is room for improvement with respect to the influence of a D / A conversion error and disturbance in the transmission process.
  • the imaging device 13 refers to the image quality characteristic value of the second digital image signal that is affected by the D / A conversion of the imaging device 13 and the analog image signal transmission process. Receive information. Therefore, by using the reference information, the imaging device 13 can be controlled so that the image quality characteristic value of the second digital image signal generated by the display device 12 outside the imaging device 13, for example, approaches the target value. The influence by the D / A conversion of the apparatus 13 and the influence in the transmission process of the analog image signal can be reduced.
  • the image quality characteristic value of the first digital image signal that is not affected by the D / A conversion of the imaging device 13 and the analog image signal transmission process is temporarily held.
  • the influence of the D / A conversion of the imaging device 13 and the influence in the transmission process of the analog image signal are further reduced.
  • the first embodiment is that the imaging apparatus according to the second embodiment adjusts the image quality characteristic of the first digital image signal generated by the own apparatus with reference to another imaging apparatus provided in the vehicle. It differs from the form. This will be specifically described below.
  • the camera system 11 includes a display device and a plurality of imaging devices 13.
  • the camera system 11 includes four imaging devices 13.
  • the four imaging devices 13 are particularly distinguished, they are referred to as a front camera 13a, a rear camera 13b, a left side camera 13c, and a right side camera 13d, respectively.
  • the display device 12 includes an input / output unit 14, an AD conversion unit 15, a display unit 16, and a display device control unit 17.
  • the input / output unit 14, the AD conversion unit 15, and the display unit 16 are the same as those in the first embodiment.
  • the display device control unit 17 is, for example, a dedicated microprocessor or a general-purpose CPU that executes a specific process by reading a specific program.
  • the display device control unit 17 controls the operation of the entire display device 12.
  • the display device control unit 17 sends the reference information indicating the image quality characteristic value of the second digital image signal to the input / output unit 14 and the network 19. Output to the imaging device 13.
  • the image quality characteristic value of the second digital image signal indicated in the reference information may include, for example, an image quality characteristic value in the entire area or a partial area of the image based on the second digital image signal.
  • the reference information may indicate an image quality characteristic value of an image based on the second digital image signal in a peripheral region of the vehicle 10 that can be imaged by the imaging devices 13 overlapping each other.
  • the peripheral areas are, for example, the left front area FLA, the right front area FRA, the left rear area ReLA, and the right rear area ReRA shown in FIG.
  • the display device control unit 17 when receiving an adjustment end notification (to be described later) from any of the imaging devices 13, the display device control unit 17 outputs the reference information of the imaging device 13 to another imaging device 13 indicated by the adjustment end notification. Details of processing for outputting the reference information of the imaging device 13 to another imaging device 13 will be described later.
  • the display device control unit 17 receives an adjustment end notification described later from all the imaging devices 13, for example, gamma correction, distortion correction, clipping processing, and the like for the second digital image signal of each imaging device 13, and Predetermined image adjustment such as viewpoint conversion processing is performed. Then, the display device control unit 17 combines the images based on the plurality of second digital image signals converted into the overhead image by the image adjustment, and generates a combined image.
  • the combined image is, for example, an overhead image of the entire periphery of the vehicle 10.
  • the front area FA, the left front area FLA, and the right front area FRA are images of the front camera 13a
  • the rear area ReA, the left rear area ReLA, and the right rear area ReRA are the rear camera 13b.
  • the image, the image of the left side camera 13c is used for the left side area LA
  • the image of the right side camera 13d is used for the right side area RA.
  • the display device control unit 17 displays the combined image on the display unit 16.
  • the imaging device 13 includes an optical system 20, an imaging element 21, an image processing unit 22, a DA conversion unit 23, an input / output unit 24, and a camera control unit 25.
  • the optical system 20, the image sensor 21, the image processing unit 22, the DA conversion unit 23, and the input / output unit 24 are the same as those in the first embodiment.
  • the camera control unit 25 is, for example, a dedicated microprocessor or a general-purpose CPU that executes a specific process by reading a specific program.
  • the camera control unit 25 controls the operation of the entire imaging device 13.
  • the camera control unit 25 controls the operation of the image sensor 21 and periodically generates an analog image signal at, for example, 30 fps.
  • the camera control unit 25 controls the operation of the image processing unit 22 to perform pre-stage image processing on the analog image signal generated by the imaging element 21 to generate a first digital image.
  • the camera control unit 25 controls the operation of the image processing unit 22 and performs subsequent image processing on the first digital image. Further, the camera control unit 25 temporarily holds the image quality characteristic value of the first digital image signal subjected to the subsequent image processing until, for example, an analog image signal of the next frame is generated.
  • the camera control unit 25 acquires control information of the vehicle 10 at the time when the analog image signal is generated by the image sensor 21.
  • the control information includes various information related to time information and the state of the vehicle 10.
  • the various information regarding the state of the vehicle 10 includes, for example, information indicating the traveling direction (forward or reverse) of the vehicle 10, information indicating the steering angle, information indicating the state of the blinker switch, and lighting (for example, a head lamp, a tail lamp) And information indicating the state of the brake lamp), information indicating the speed of the vehicle 10, and the like.
  • the camera control unit 25 can acquire control information by an arbitrary method. For example, the camera control unit 25 may acquire from the vehicle 10 via the network 19 and the input / output unit 24. Or the camera control part 25 may acquire the control information which other components, such as various sensors with which the vehicle 10 is equipped, output by a wire communication or radio
  • the camera control unit 25 determines the dependency relationship between the imaging devices 13 based on the control information of the vehicle 10.
  • the subordinate relationship is that the other imaging devices 13 that are the upper level and the lower level imaging devices 13 that are higher than the higher level are used as reference when each imaging device 13 adjusts the image quality characteristics of the first digital image signal. It is a relationship to be determined. A specific example of the dependency will be described later.
  • each imaging device 13 is determined as one of a primary device, a secondary device, and a tertiary device in order from the top, for example.
  • the dependency relationship is arbitrarily determined based on the control information of the vehicle 10.
  • the camera control unit 25 determines, as a primary device, one imaging device 13 corresponding to a region on the combined image that is highly likely to be noticed by the driver according to the state of the vehicle 10. In addition, the camera control unit 25 determines another imaging device 13 that can capture an area overlapping the imaging range of the primary device as the secondary device. In addition, the camera control unit 25 determines another imaging device 13 that can capture an area overlapping the imaging range of the secondary device as the tertiary device. For example, when the control information includes information indicating that the traveling direction of the vehicle 10 is the front, the left turn turn signal switch is ON, and the speed is zero (stopped), the display device control unit 17 includes In addition, it can be determined that the vehicle 10 is about to turn left.
  • the camera control unit 25 determines the front camera 13a corresponding to the left front area FLA in the combined image as the primary device. In addition, the camera control unit 25 determines the left side camera 13c and the right side camera 13d that can capture an area overlapping the imaging range of the front camera 13a as secondary devices. In addition, the camera control unit 25 determines the rear camera 13b that can capture an area overlapping with the imaging range of the left side camera 13c or the imaging range of the right side camera 13d as a tertiary device.
  • One imaging device 13 among the plurality of imaging devices 13 may determine the dependency relationship, and notify the determined dependency relationship to the other imaging devices 13 via the input / output unit 24 and the network 19, for example.
  • the camera control unit 25 controls the operations of the image processing unit 22 and the DA conversion unit 23 to adjust the image quality characteristics of the first digital image signal, in this embodiment, exposure adjustment or white balance adjustment.
  • the target value of the image quality characteristic value in the exposure adjustment or the white balance adjustment is different in each imaging device 13 depending on the dependency.
  • the front camera 13a is a primary device
  • the left side camera 13c and the right side camera 13d are secondary devices
  • the rear camera 13b is a tertiary device.
  • the camera control unit 25 of the primary device temporarily sets the image quality characteristic value of the first digital image signal subjected to the subsequent image processing as a target value. Hold. Subsequently, the camera control unit 25 performs exposure adjustment or white balance adjustment of the first digital image signal so that the image quality characteristic value of the second digital image signal approaches the target value based on the reference information of the own apparatus. .
  • the camera control unit 25 outputs an adjustment completion notification to the display device 12.
  • the adjustment end notification includes information indicating secondary devices (the left side camera 13c and the right side camera 13d) that are subordinate to the primary device.
  • the display device 12 that has received the adjustment completion notification transmits the reference signal of the primary device to the secondary device that is a subordinate of the primary device via the input / output unit 14 and the network 19.
  • the reference signal includes information indicating the image quality characteristic value of the second digital image signal generated based on the first digital image signal of the primary device whose image quality characteristics have been adjusted.
  • the camera control unit 25 of the secondary device waits for reference information of the primary device (front camera 13a), which is the host device. Subsequently, when receiving the reference information of the primary device, the camera control unit 25 temporarily sets the image quality characteristic value of the second digital image signal of the primary device indicated by the reference information as a target value and holds it. Subsequently, the camera control unit 25 controls the operation of the DA conversion unit 23 and outputs an analog image signal obtained by D / A converting the first digital image signal subjected to the subsequent image processing to the display device 12. Subsequently, the camera control unit 25 receives the reference information of the own device from the display device 12. Subsequently, the camera control unit 25 determines whether or not the image quality characteristic value of the second digital image signal indicated in the reference information of the own apparatus substantially matches the target value.
  • the camera control unit 25 When the image quality characteristic value does not substantially match the target value, the camera control unit 25 performs subsequent image processing so that the image quality characteristic value of the second digital image signal indicated by the reference information of the own apparatus approaches the target value.
  • the image quality characteristic of the applied first digital image signal is adjusted. Specifically, the camera control unit 25 performs exposure adjustment or white balance adjustment. Then, the camera control unit 25 controls the operation of the DA conversion unit 23 and outputs an analog image signal obtained by D / A converting the adjusted first digital image signal to the display device 12, and the first digital image signal Repeatedly adjust the image quality characteristics.
  • the camera control unit 25 ends the adjustment of the image quality characteristic of the first digital image signal and outputs an adjustment end notification to the display device 12.
  • the adjustment end notification includes information indicating a tertiary device (rear camera 13b) that is a subordinate of the secondary device.
  • the secondary device has the image quality characteristic value of the second digital image signal indicated in the reference information of the own device approaching the image quality characteristic value of the other second digital image signal indicated in the reference information of the primary device. As described above, the image quality characteristic of the first digital image signal of the device itself is adjusted.
  • the operation of the right side camera 13d as the secondary device is the same as that of the left side camera 13c.
  • the display device 12 that has received the adjustment end notification transmits a reference signal of the secondary device to the tertiary device that is a subordinate of the secondary device via the input / output unit 14 and the network 19.
  • the reference signal includes information indicating the image quality characteristic value of the second digital image signal generated based on the first digital image signal of the secondary device whose image quality characteristics have been adjusted.
  • the camera control unit 25 of the tertiary device waits for reference information of the secondary device (at least one of the left side camera 13c and the right side camera 13d). Subsequently, when receiving the reference information of the secondary device, the camera control unit 25 temporarily sets the image quality characteristic value of the second digital image signal of the secondary device indicated by the reference information as a target value and holds it. . Subsequently, the camera control unit 25 controls the operation of the DA conversion unit 23 and outputs an analog image signal obtained by D / A converting the first digital image signal subjected to the subsequent image processing to the display device 12. Subsequently, the camera control unit 25 receives the reference information of the own device from the display device 12. Subsequently, the camera control unit 25 determines whether or not the image quality characteristic value of the second digital image signal indicated in the reference information of the own apparatus substantially matches the target value.
  • the camera control unit 25 When the image quality characteristic value does not substantially match the target value, the camera control unit 25 performs subsequent image processing so that the image quality characteristic value of the second digital image signal indicated by the reference information of the own apparatus approaches the target value.
  • the image quality characteristic of the applied first digital image signal is adjusted. Specifically, the camera control unit 25 performs exposure adjustment or white balance adjustment. Then, the camera control unit 25 controls the operation of the DA conversion unit 23 and outputs an analog image signal obtained by D / A converting the adjusted first digital image signal to the display device 12, and the first digital image signal Repeatedly adjust the image quality characteristics.
  • the camera control unit 25 ends the adjustment of the image quality characteristic of the first digital image signal and outputs an adjustment end notification to the display device 12.
  • the tertiary device has the image quality characteristic value of the second digital image signal indicated in the reference information of the own device approaching the image quality characteristic value of the other second digital image signal indicated in the reference information of the secondary device. As described above, the image quality characteristic of the first digital image signal of the device itself is adjusted.
  • the display device 12 that has received the adjustment completion notifications from all the imaging devices 13 displays a combined image obtained by combining the images based on the plurality of second digital image signals converted into the overhead image on the display unit 16. Display.
  • Step S200 The imaging device 13 captures a subject image and generates an analog image signal.
  • Step S201 The imaging device 13 performs pre-stage image processing on the analog image signal to generate a first digital image signal.
  • Step S202 The imaging device 13 performs subsequent image processing on the first digital image signal.
  • Step S203 The imaging device 13 acquires control information of the vehicle 10 at the time when the analog image signal is generated in Step S200.
  • Step S204 The imaging device 13 determines the dependency of each imaging device 13 based on the control information of the vehicle 10.
  • the front camera 13a is a primary device
  • the left side camera 13c and the right side camera 13d are secondary devices
  • the rear camera 13b is a tertiary device.
  • the process in step S ⁇ b> 204 may be executed by one of the plurality of imaging devices 13, and the determined dependency relationship may be notified to the other imaging devices 13.
  • the front camera 13a determined as the primary device sets the image quality characteristic value of the first digital image signal subjected to the subsequent image processing as a target value and temporarily holds it.
  • Step S205 The imaging device 13 performs the adjustment process of the image quality characteristic of the first digital image signal together with the display device 12. The contents of the image quality characteristic adjustment processing differ in each imaging device 13 according to the dependency as described above.
  • the imaging device 13 for example, the front camera 13a
  • This operation corresponds to the adjustment process of the image quality characteristic of the first digital image signal shown in step S205 of FIG.
  • Step S300 The front camera 13a converts the first digital image signal into an analog image signal for output.
  • Step S301 The front camera 13a outputs the analog image signal of Step S300 to the display device 12 via the dedicated line 18.
  • Step S302 The display device 12 performs A / D conversion on the analog image signal in step S301 to generate a second digital image signal.
  • Step S303 The display device 12 outputs reference information indicating the image quality characteristic value of the second digital image signal of the front camera 13a to the front camera 13a via the network 19.
  • Step S304 The front camera 13a determines whether or not the image quality characteristic value of the second digital image signal indicated in the received reference information substantially matches a predetermined target value.
  • the target value is the image quality characteristic value of the first digital image signal subjected to the subsequent image processing, temporarily stored in step S204 shown in FIG.
  • the process proceeds to step S305.
  • the process proceeds to step S306.
  • Step S305 When the image quality characteristic value does not substantially match the target value in step S304 (step S304-No), the front camera 13a sets the image quality characteristic value of the second digital image signal indicated in the reference information to the target value. Adjustment of the image quality characteristic of the first digital image signal, here, exposure adjustment or white balance adjustment is performed so as to approach. Then, the front camera 13a returns to step S300 to repeatedly execute the adjustment of the image quality characteristic of the first digital image signal.
  • Step S306 When the image quality characteristic value substantially matches the target value in Step S304 (Step S304-Yes), the front camera 13a outputs an adjustment end notification to the display device 12.
  • the adjustment end notification includes information indicating secondary devices (the left side camera 13c and the right side camera 13d) that are subordinate to the primary device.
  • Step S400 The left side camera 13c that is a secondary device waits for other reference information of another imaging device 13 that is a higher-order primary device, here, reference information of the front camera 13a.
  • reference information of the front camera 13a When the left side camera 13c acquires the reference information of the front camera 13a from the display device 12, the image quality characteristic value of the second digital image signal of the front camera 13a indicated by the reference information is set as a target value and temporarily held. The process proceeds to step S401.
  • Step S401 The left side camera 13c converts the first digital image signal into an analog image signal for output.
  • Step S402 The left side camera 13c outputs the analog image signal of step S401 to the display device 12 via the dedicated line 18.
  • Step S403 The display device 12 performs A / D conversion on the analog image signal in step S402 to generate a second digital image signal.
  • Step S404 The display device 12 outputs reference information indicating the image quality characteristic value of the second digital image signal of the left side camera 13c to the left side camera 13c via the network 19.
  • Step S405 The left side camera 13c determines whether or not the image quality characteristic value of the second digital image signal indicated in the reference information received in step S404 substantially matches a predetermined target value.
  • the target value is the primary device (the image quality characteristic value of the second digital image signal of the front camera 13a temporarily stored in step S400.
  • the process proceeds to step S406, whereas if the image quality characteristic value substantially matches the target value (step S405-Yes), the process proceeds to step S407.
  • Step S406 When the image quality characteristic value does not substantially match the target value in step S405 (step S405-No), the left side camera 13c displays the image quality of the second digital image signal indicated in the reference information of the left side camera 13c. Adjustment of the image quality characteristic of the first digital image signal, here, exposure adjustment or white balance adjustment is performed so that the characteristic value approaches the target value. Then, the left side camera 13c returns to step S401 and repeatedly executes adjustment of the image quality characteristic of the first digital image signal.
  • Step S407 When the image quality characteristic value substantially matches the target value in Step S405 (Step S405-Yes), the imaging device 13 outputs an adjustment end notification to the display device 12.
  • the adjustment end notification includes information indicating a tertiary device (rear camera 13b) that is a subordinate of the secondary device.
  • Step S500 The display device 12 waits for an adjustment end notification from all the imaging devices 13. When the display device 12 acquires the adjustment end notification from all the imaging devices 13, the process proceeds to step S501.
  • Step S501 The display device 12 combines images obtained by performing a predetermined image adjustment on the second digital image signal of each imaging device 13, and generates a combined image.
  • Step S502 The display device 12 displays the combined image.
  • the imaging device 13 receives the other reference information of the other imaging device 13, and the image quality characteristic value of the other second digital image signal indicated by the other reference information. Is set as the target value.
  • the imaging device 13 uses the other reference information to change the image quality characteristic value of the second digital image signal of the own device generated outside the imaging device 13, for example, the display device 12, to the second of the other imaging device 13. It is possible to control so as to be close to the image quality characteristic value of the digital image signal. For this reason, the influence of the D / A conversion of the imaging device 13 and the influence in the transmission process of the analog image signal are reduced, and the color of the second digital image signal or between the imaging device 13 and the other imaging device 13 is reduced.
  • Image quality characteristics such as brightness substantially match. A plurality of images having substantially the same color or brightness are suitable for improving the visibility of a combined image generated by combining a plurality of images, for example.
  • FIG. 9 is a diagram illustrating an example of a functional block diagram of an abnormality determination system (also referred to as an “imaging system”) including an imaging apparatus according to the third embodiment.
  • the abnormality determination system includes an imaging device 100, a display device 200, a first transmission path 300, a second transmission path 400, and a third transmission path 500.
  • the display device 200 displays a captured image captured by the imaging device 100. Further, the imaging apparatus 100 determines whether an abnormality has occurred on the output path of the captured image.
  • the imaging device 100 and the display device 200 are installed in a vehicle, for example.
  • the imaging device 100 may be installed in a moving body other than the vehicle.
  • the imaging apparatus 100 communicates with elements related to the electronic device, but in the following description, illustration and description of elements constituting other functional units are omitted.
  • the imaging apparatus 100 includes a control unit 1100, an imaging unit 1200, a first output unit 1300, a second output unit 1400, and an acquisition unit 1500.
  • the control unit 1100 is a computer that controls various operations of the imaging apparatus 100. For example, the control unit 1100 performs arbitrary image processing (A / D conversion, D / A conversion, etc.) on the image acquired from the imaging unit 1200. In addition, the control unit 1100 encodes an image. Further, the control unit 1100 compares an image acquired by the acquisition unit 1500 described later with a corresponding area of the test pattern image output by the first output unit 1300 described later.
  • the image signal of the test pattern image is, for example, a predetermined color bar signal, but is not limited thereto.
  • the test pattern image may be a color image or a monochrome image.
  • the imaging unit 1200 includes an optical system and an imaging element.
  • the optical system is configured by an optical element such as a lens, and forms an image around the vehicle on which the imaging device 1 is installed.
  • the image sensor is, for example, a CMOS or CCD image sensor, and images an image formed by the optical system as a color image or a monochrome image.
  • the first output unit 1300 is, for example, a connector.
  • the first output unit 1300 can switch between a captured image captured by the imaging unit 1200 and a predetermined test pattern image, and can output to the display device 200 via the first transmission path 300.
  • the second output unit 1400 is, for example, a connector.
  • the second output unit 1400 outputs information designating at least a partial region of the test pattern image to the display device 200 via the second transmission path 400.
  • the acquisition unit 1500 is, for example, a connector.
  • the acquisition unit 1500 acquires an image of at least a part of the test pattern image from the display device 200.
  • the acquisition unit 1500 outputs the acquired image to the control unit 1100.
  • the display device 200 includes a control unit 2100, an acquisition unit 2200, a decryption unit 2300, a drive unit 2400, a display unit 2500, and a communication control unit 2600.
  • the control unit 2100 is a computer that controls various operations of the display device 200.
  • the control unit 2100 causes the communication control unit 2600 (described later) to extract an image of at least a part of the area from the test pattern image acquired by the acquisition unit 2200 (described later).
  • the acquisition unit 2200 is, for example, a connector.
  • the acquisition unit 2200 acquires at least one of a captured image and a test pattern image from the first output unit 1300.
  • the acquisition unit 2200 also acquires information specifying at least a partial region of the test pattern image from the second output unit 1400.
  • the acquisition unit 2200 outputs the acquired information to the decoding unit 2300.
  • the acquisition unit 2200 outputs the acquired image to the communication control unit 2600.
  • the decoding unit 2300 decodes at least one image signal of the captured image or the test pattern image acquired by the acquisition unit 2200.
  • the decoding unit 2300 is, for example, a DSP that performs image processing.
  • the decoding unit 2300 outputs the decoded image to the driving unit 2400.
  • the driving unit 2400 is, for example, an LCD driver.
  • the driving unit 2400 drives the display unit 2500 based on the image acquired from the decoding unit 2300.
  • the display unit 2500 is a liquid crystal display, for example, and displays a captured image by driving the driving unit 2400.
  • Display unit 2500 may display a test pattern image.
  • the display unit 2500 is configured by a touch panel, for example, and may function as an interface that receives input from the user.
  • the communication control unit 2600 is, for example, a CAN controller for a gate array.
  • the communication control unit 2600 acquires the test pattern image after the decoding unit 2300 has decoded.
  • the communication control unit 2600 extracts, from the acquired test pattern image, an image of a region corresponding to information specifying at least a partial region of the test pattern image acquired by the acquiring unit 2200.
  • the communication control unit 2600 outputs the extracted image to the imaging device 100 via the third transmission path 500.
  • the first transmission line 300 is, for example, a dedicated line.
  • the first transmission path 300 transmits the image output from the first output unit 1300 to the display device 200.
  • the second transmission line 400 is a dedicated line, for example, but may be a bus.
  • the second transmission path 400 transmits the information output from the second output unit 1400 to the display device 200.
  • a third transmission line 500 to be described later may transmit the information output from the second output unit 1400 to the display device 200 instead of the second transmission line 400.
  • the third transmission line 500 is, for example, a bus.
  • the third transmission path 500 transmits the image output from the communication control unit 2600 to the imaging apparatus 100 by CAN communication.
  • the number of the third transmission lines 500 may be two or more.
  • the control unit 1100 detects that the engine of the vehicle in which the imaging apparatus 100 is installed is activated and the imaging apparatus 100 is activated. When the control unit 1100 detects that the imaging device 100 is activated, the control unit 1100 outputs a predetermined test pattern image to the display device 200. The control unit 1100 may output the test pattern image to the display device 200 when an arbitrary driving operation is performed on the vehicle, not when the imaging device 100 is activated.
  • the driving operation may include, for example, an operation in which the driver of the vehicle puts the gear in reverse.
  • the acquisition unit 2200 acquires a test pattern image and outputs the test pattern image to the decoding unit 2300.
  • the decoding unit 2300 decodes the test pattern image. Next, the decoding unit 2300 outputs the decoded test pattern image to the communication control unit 2600.
  • the communication control unit 2600 extracts an image of at least a part of the acquired test pattern image. For example, the communication control unit 2600 extracts an image 3100 or 3200 of at least a partial region from the entire test pattern image 3000 shown in FIG. As shown in FIG. 10, at least a part of the region is, for example, a region including a predetermined boundary 3300 in the test pattern image, that is, a boundary portion where the pixel value changes with displacement.
  • the communication control unit 2600 outputs the extracted image to the imaging apparatus 100 via the third transmission path 500.
  • the area that the communication control unit 2600 extracts from the test pattern image is specified by the control unit 1100 of the imaging apparatus 100, for example.
  • the control unit 1100 designates an area to be extracted by, for example, the coordinates of one or more pixels constituting the image of the area.
  • the control unit 1100 outputs, to the display device 200 via the second transmission path 400, information specifying at least a part of the test pattern image before or after outputting the test pattern image to the display device 200. To do.
  • the acquisition unit 1500 acquires an image of at least a part of the test pattern image output from the communication control unit 2600 in the display device 2.
  • the control unit 1100 of the imaging apparatus 100 compares (collates) the image acquired by the acquisition unit 1500 with the image of the region corresponding to the region indicated by the acquired image of the test pattern image output by the first output unit 1300. . That is, the control unit 1100 of the imaging apparatus 100 compares pixel information of two images.
  • the corresponding area is an area designated by the imaging apparatus 100 in the two images to be compared.
  • control unit 1100 determines that the pixel information of the two compared images is not the same, it is estimated that there is an abnormality between the imaging device 100 and the display device 200 or in the display device 200. In this case, the control unit 1100 causes the display device 200 to notify that there is an abnormality, for example, via the third transmission path 500. In this case, the control unit 1100 may output information that can stop a specific function of the vehicle to the in-vehicle device including the display device 200.
  • control unit 1100 determines that the two compared images are the same, it is estimated that the area between the imaging apparatus 100 and the display apparatus 200 and the display apparatus 200 are normal.
  • the imaging device 100 detects that the engine of the vehicle in which the imaging device 100 is installed has been started (step S601).
  • the imaging device 100 outputs a test pattern image to the display device 200 (step S602).
  • the imaging apparatus 100 outputs information specifying at least a partial area of the test pattern image output in step S602 to the display apparatus 200 (step S603).
  • Step S603 may be performed simultaneously with step S602, or may be performed before and after step S602.
  • the imaging device 100 acquires an image of at least a part of the test pattern image output from the display device 200 (step S604).
  • the imaging apparatus 100 compares the image acquired in step S604 with the image of the area corresponding to the area indicated by the image acquired in step S604 of the test pattern image output in step S602 (step S605).
  • the imaging apparatus 100 determines whether there is an abnormality from the comparison result (step S606).
  • the imaging apparatus 100 causes the display device 200 to notify that there is an abnormality (step S607).
  • the imaging device 100 may output information that can stop a specific function of the vehicle to the in-vehicle device.
  • step S607 is not performed.
  • control unit 1100 compares the image acquired by the acquisition unit 1500 with the image of the region corresponding to the region indicated by the acquired image of the test pattern image output by the first output unit 1300. This makes it possible to determine whether there is an abnormality between the imaging device 100 and the display device 200 or in the display device 200.
  • At least a part of the region is, for example, a boundary part region that is predetermined as a test pattern image.
  • a boundary part region that is predetermined as a test pattern image.
  • image disturbance is likely to occur. Therefore, such a configuration makes it easy to determine whether there is an abnormality between the camera and the display device or in the display device.
  • the test pattern image may be a color image having color information. Due to the abnormality, the color information may be lost first from the image. Therefore, such a configuration makes it easy to determine whether there is an abnormality.
  • the communication control unit 2600 acquires the test pattern image after the decoding unit 2300 decodes it.
  • the communication control unit 2600 acquires a test pattern image before the decoding unit 2300 decodes it.
  • the processing performed by the abnormality determination system is the same as the processing in the above embodiment.
  • the image acquired by the communication control unit 2600 and output to the imaging device 100 is an image that has not been decoded by the decoding unit 2300. Therefore, when the control unit 1100 determines that the two compared images are not identical, it is estimated that there is an abnormality between the imaging device 100 and the display device 200.
  • the fifth embodiment combines the third embodiment and the fourth embodiment. That is, the communication control unit 2600 acquires both the test pattern image before being decoded by the decoding unit 2300 and the test pattern image after being decoded. Further, the communication control unit 2600 outputs both test pattern images to the imaging apparatus 100, and the acquisition unit 1500 acquires them and outputs them to the control unit 1100.
  • the control unit 1100 compares the test pattern image before being decoded by the decoding unit 2300 with the image of the region corresponding to the region indicated by the acquired image of the test pattern image output by the first output unit 1300. Further, the control unit 1100 compares the test pattern image decoded by the decoding unit 2300 with an image of a region corresponding to the region indicated by the acquired image of the test pattern image output by the first output unit 1300.
  • FIG. 12 shows the determination result of the abnormal part when the comparison is performed twice in this way. “ ⁇ ” indicates that the compared images are the same, and “X” indicates that the compared images are different.
  • such a configuration allows the control unit 1100 to determine an abnormal location in detail.
  • the control unit 1100 of the imaging apparatus 100 specifies an area that the communication control unit 2600 extracts in the test pattern image.
  • the communication control unit 2600 arbitrarily determines a region that the communication control unit 2600 extracts in the test pattern image. Therefore, in this embodiment, the abnormality determination system does not need to include the second output unit 1400.
  • the communication control unit 2600 indicates which region of the image is extracted, for example, by the coordinates of one or more pixels constituting the image of the region.
  • the communication control unit 2600 outputs information indicating which region an image has been extracted to the imaging apparatus 100.
  • the corresponding area compared by the control unit 1100 is an area determined by the communication control unit 2600 in the two images to be compared.
  • control unit 1100 designates a region that the communication control unit 2600 extracts from the test pattern image.
  • the area that the communication control unit 2600 extracts from the test pattern image is determined in advance. Therefore, in this embodiment, the abnormality determination system does not need to include the second output unit 1400.
  • the communication control unit 2600 extracts a predetermined area that is set in advance and outputs the extracted area to the imaging apparatus 100.
  • the predetermined area determined in advance may be a partial area of the test pattern image or the entire area.
  • the imaging device 13 (the primary device in the second embodiment) has the image quality of the first digital image signal of the current frame subjected to the subsequent image processing.
  • the configuration for determining the characteristic value as the target value has been described, the configuration of the embodiment is not limited to this.
  • the image quality characteristic value of the first digital image signal of the past frame subjected to the subsequent image processing may be set as the target value.
  • the imaging device 13 defined as the secondary device uses the image quality characteristic value of the second digital image signal indicated in the other reference signal of the past frame as the target value. It may be determined.
  • the first embodiment or the second embodiment described above and the third embodiment may be combined.
  • the test pattern image according to the third embodiment may be employed as the first digital image signal according to the first embodiment or the second embodiment.
  • the image quality characteristic value of at least a part of the first digital image signal and the image quality characteristic value of at least a part of the second digital image signal are determined whether there is an abnormality between the imaging device 13 and the display device 12 or in the display device 12.
  • the display devices 12 and 200, the imaging devices 13 and 100, and the like may be realized as communication devices such as mobile phones and may be connected to other components of the system by wire or wirelessly.
  • a program describing processing contents for realizing each function is stored in an internal or external storage unit of the computer. It can be realized by reading and executing this program by a central processing unit (CPU) of the computer.
  • CPU central processing unit
  • such a program can be distributed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM, and such a program can be stored in a storage unit of a server on a network, for example. And the program can be distributed by transferring the program from the server to another computer via the network.
  • a computer that executes such a program can temporarily store, for example, a program recorded on a portable recording medium or a program transferred from a server in its own storage unit.
  • the computer may directly read the program from a portable recording medium and execute processing according to the program, and each time the program is transferred from the server to the computer.
  • the processing according to the received program may be executed sequentially.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　デジタル画像信号のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を低減する撮像装置、撮像システム、および車両を提供する。撮像装置１３は、第１のデジタル画像を生成する画像処理部２２と、第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部２３と、アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部１４と、画像処理部２２の動作を制御して、第２のデジタル画像の画質特性値が所定の目標値に近づくように第１のデジタル画像の画質特性の調整を行う制御部２５と、を備える。

Description

撮像装置、撮像システム、および車両 関連出願の相互参照
　本出願は、２０１５年３月２７日に日本国に特許出願された特願２０１５－０６７４６７、および２０１５年４月２４日に日本国に特許出願された特願２０１５－０８９７６２の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本発明は、撮像装置、撮像システム、および車両に関する。
　従来、例えば車両に搭載された車載カメラにおいて、露出やホワイトバランスの制御が行われている。例えば特許文献１には、外環境に応じて車載カメラの露出やホワイトバランスの制御を行って画像の視認性を向上させるために、車両の光源の点灯に応じてホワイトバランスの補正や入射光量制御を行う技術が開示されている。
　また、従来、ＣＣＤカメラからの画像データが所定回数変化しなかったときにカメラの受光素子が故障していると判断して信号を出力する手法が知られている（例えば、特許文献２）。
特開２００５－１５９９１８号公報 特開平１１－２８７５４９号公報
　本発明の実施形態に係る撮像装置は、第１のデジタル画像を生成する画像処理部と、前記第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部と、前記アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部と、前記画像処理部の動作を制御して、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う制御部と、を備える。
　また、本発明の実施形態に係る撮像システムは、第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す参照情報を前記撮像装置に出力する表示装置と、を備え、前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う。
　また、本発明の実施形態に係る車両は、第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す情報を前記撮像装置に出力する表示装置と、を有する撮像システムを備え、前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う。
第１の実施形態に係るカメラシステムを備える車両を上方から見た図である。 図１の撮像装置の撮像範囲の例を示す図である。 図１のカメラシステムの概略構成を示すブロック図である。 図１のカメラシステムの動作を説明するフローチャートである。 第２の実施形態に係るカメラシステムの動作を説明する第１のフローチャートである。 第２の実施形態に係るカメラシステムの動作を説明する第２のフローチャートである。 第２の実施形態に係るカメラシステムの動作を説明する第３のフローチャートである。 第２の実施形態に係る表示装置の動作を説明するフローチャートである。 第３の実施形態に係る撮像装置および表示装置の機能ブロック図である。 図９の撮像装置が出力するテストパターン画像を示す図である。 図９の撮像装置の動作フローを示す図である。 図９の撮像装置が行う比較と異常箇所との関係を説明する表である。
　以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
　はじめに、図１を参照して、本発明の第１の実施形態に係る移動体である車両１０が備えるカメラシステム（「撮像システム」ともいう。）１１について説明する。カメラシステム１１は、表示装置１２と、少なくとも１つの撮像装置１３と、を備える。本実施形態においてカメラシステム１１は、４つの撮像装置１３を備える。以下、４つの撮像装置１３を特に区別する場合には、それぞれフロントカメラ１３ａ、リアカメラ１３ｂ、左サイドカメラ１３ｃ、および右サイドカメラ１３ｄという。
　フロントカメラ１３ａは、車両１０の前方の周辺領域を撮像可能となるように車両１０に配置される。またリアカメラ１３ｂは、車両１０の後方の周辺領域を撮像可能となるように車両１０に配置される。また左サイドカメラ１３ｃは、車両１０の左側方の周辺領域を撮像可能となるように、例えば左ドアミラーにおいて鉛直下向きに配置される。また右サイドカメラ１３ｄは、車両１０の右側方の周辺領域を撮像可能となるように、例えば右ドアミラーにおいて鉛直下向きに配置される。また表示装置１２は、運転席から視認可能な位置に配置される。
　撮像装置１３は、例えば魚眼レンズなどの画角の広いレンズを備えており、車両１０の周辺領域を広角撮影可能である。例えば図２に示すように、フロントカメラ１３ａの撮像範囲は、車両１０の前方領域ＦＡ、左前方領域ＦＬＡ、および右前方領域ＦＲＡを含む。またリアカメラ１３ｂの撮像範囲は、車両１０の後方領域ＲｅＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡを含む。また左サイドカメラ１３ｃの撮像範囲は、車両１０の左側方領域ＬＡ、左前方領域ＦＬＡ、および左後方領域ＲｅＬＡを含む。また右サイドカメラ１３ｄの撮像範囲は、車両１０の右側方領域ＲＡ、右前方領域ＦＲＡ、および右後方領域ＲｅＲＡを含む。
　次に、図３を参照して、カメラシステム１１の各構成要素について具体的に説明する。図３においては説明の簡便のため、撮像装置１３を１つのみ図示している。
　表示装置１２は、入出力部１４と、ＡＤ変換部１５と、表示部１６と、表示装置制御部１７と、を備える。
　入出力部１４は、アナログビデオ信号線等の専用線１８、およびＣＡＮ（Controller Area Network）等のネットワーク１９を介して情報の入出力を行うインターフェースである。
　ＡＤ変換部１５は、例えばＡＤＣ（Analog-to-Digital Converter）であって、専用線１８および入出力部１４を介して撮像装置１３から入力されたアナログ画像信号をＡ／Ｄ変換してデジタル画像信号（第２のデジタル画像信号）を生成する。
　表示部１６は、例えばＬＣＤ（Liquid Crystal Display）を含んで構成され、リアルタイムの動画像を表示可能である。また表示部１６は、例えばタッチパネルとして構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
　表示装置制御部１７は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵ（Central Processing Unit）である。表示装置制御部１７は、表示装置１２全体の動作を制御する。
　例えば表示装置制御部１７は、ＡＤ変換部１５による第２のデジタル画像信号の生成に応じて、当該第２のデジタル画像信号の画質特性値を示す情報（参照情報）を、入出力部１４およびネットワーク１９を介して撮像装置１３に出力する。ここで画質特性値は、画像信号の画質特性を調整するための任意の画像処理（以下、画質調整処理ともいう。）における制御対象のパラメータであって、画質調整処理に応じて任意に定められる。本実施形態において、画質特性の調整は、例えば露出調整またはホワイトバランス調整であるものとして説明するが、例えば色補正等、任意の画質調整処理を含んでもよい。また画質特性値は、例えばデジタル画像信号に基づく画像の全部領域または一部領域における、色信号成分のゲインの平均値、輝度信号成分のゲインの平均値、または色温度等を含むが、これに限られない。
　また表示装置制御部１７は、撮像装置１３から後述する調整終了通知を受信すると、第２のデジタル画像信号に対して例えばガンマ補正、歪み補正、切出処理、および視点変換処理等の所定の画像調整を施し、画像調整が施された第２のデジタル画像信号に基づく画像を表示部１６に表示させる。
　撮像装置１３は、光学系２０と、撮像素子２１と、画像処理部２２と、ＤＡ変換部２３と、入出力部２４と、カメラ制御部２５とを備える。
　光学系２０は、絞りおよび複数のレンズを含んで構成され、被写体像を結像させる。本実施形態において、光学系２０は広い画角を有しており、車両１０の周辺領域の被写体像を結像可能である。
　撮像素子２１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子であって、光学系２０によって結像される被写体像を撮像して、アナログ画像信号を生成する。
　画像処理部２２は、例えばＡＦＥ（Analog Front End）およびＤＳＰ（Digital Signal Processor）等の画像処理専用のプロセッサを含む。画像処理部２２は、撮像素子２１によって生成されたアナログ画像信号に対して、ＣＤＳ（Correlated Double Sampling）、ゲイン調整（ＡＧＣ：Auto Gain Control）、およびＡ／Ｄ変換等の前段画像処理を施し、デジタル画像信号（第１のデジタル画像信号）を生成する。また画像処理部２２は、第１のデジタル画像信号に対して、露出調整、ホワイトバランス調整、色補間、色補正、およびガンマ補正等の所定の後段画像処理を施す。
　また画像処理部２２は、表示装置１２からネットワーク１９および入出力部２４を介して受信した参照信号に応じて、後段画像処理が施された第１のデジタル画像信号に対してさらに露出調整またはホワイトバランス調整等、画質特性の調整を行なう。第１のデジタル画像信号の画質特性の調整の詳細については後述する。
　また画像処理部２２は、例えばテストパターン画像等、所定の画質特性値を有するデジタル画像信号を第１のデジタル画像に定めてもよい。
　ＤＡ変換部２３は、例えばＤＡＣ（Digital-to-Analog Converter）であって、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。そして画像処理部２２は、入出力部２４および専用線１８を介して、当該アナログ画像信号を表示装置１２に出力する。
　入出力部２４は、専用線１８、およびＣＡＮ等のネットワーク１９を介して情報の入出力を行うインターフェースである。
　カメラ制御部２５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。カメラ制御部２５は、撮像装置１３全体の動作を制御する。
　例えばカメラ制御部２５は、撮像素子２１の動作を制御して、周期的に、例えば３０ｆｐｓでアナログ画像信号を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、撮像素子２１によって生成されたアナログ信号に前段画像処理を施して第１のデジタル画像を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、第１のデジタル画像に対して後段画像処理を施す。
　そしてカメラ制御部２５は、画像処理部２２およびＤＡ変換部２３の動作を制御して、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。以下、具体的に説明する。
　はじめにカメラ制御部２５は、後段画像処理が施された第１のデジタル画像信号の画質特性値を、例えば次フレームのアナログ画像信号を生成するまで、一時的に保持する。本実施形態において、一時的に保持された画質特性値が、後述する目標値に定められる。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を、入出力部２４および専用線１８を介して表示装置１２に出力する。続いてカメラ制御部２５は、ＤＡ変換部２３によって生成したアナログ画像信号の出力に応じて、ネットワーク１９および入出力部２４を介して表示装置１２から参照情報を受信する。上述したように、参照情報は、表示装置１２によって生成された第２のデジタル画像信号の画質特性値を示す情報である。
　続いてカメラ制御部２５は、参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。画質特性値が目標値と略一致するとは、例えば画質特性値が目標値と実質的に一致しているとみなせる数値範囲内に収まっていることをいう。また、本実施形態において目標値は、一時的に保持された第１のデジタル画像信号の画質特性値である。ここで第１のデジタル画像信号の画質特性値は、第１のデジタル画像信号に基づく画像の全部領域または参照情報に対応する一部領域における画質特性値であってもよい。
　画質特性値が目標値と略一致していないときには、カメラ制御部２５は、第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号に対してさらに露出調整またはホワイトバランス調整を行う。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、露出調整またはホワイトバランス調整が行われた第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を、入出力部２４および専用線１８を介して表示装置１２に出力する。そしてカメラ制御部２５は、当該アナログ画像信号の出力に応じて表示装置１２から参照情報を受信し、第１のデジタル画像信号の画質特性の調整を繰り返し実行してフィードバック制御を行う。
　一方、第２のデジタル画像信号の画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。
　このように第１のデジタル画像信号の画質特性の調整によって、参照情報に示される第２のデジタル画像信号の画質特性値が、一時的に保持された目標値、すなわち後段画像処理が施された第１のデジタル画像信号の画質特性値と略一致するようにフィードバック制御される。フィードバック制御は、上述のように第２のデジタル画像信号の画質特性値が目標値に略一致するまで繰り返し行われてもよく、あるいはフィードバックの繰り返し回数に上限（例えば、１回）を設けて行われてもよい。
　次に図４に示すフローチャートを参照して、本実施形態に係るカメラシステム１１の動作の例について説明する。本動作は、例えば撮像装置１３がアナログ画像信号を生成する各フレームにおいて実行される。
　ステップＳ１００：撮像装置１３は、被写体像を撮像してアナログ画像信号を生成する。
　ステップＳ１０１：撮像装置１３は、アナログ画像信号に対して前段画像処理を施し、第１のデジタル画像信号を生成する。
　ステップＳ１０２：撮像装置１３は、第１のデジタル画像信号に対して後段画像処理を施す。ここで撮像装置１３は、後段画像処理が施された第１のデジタル画像信号の画質特性値を一時的に保持する。
　ステップＳ１０３：撮像装置１３は、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
　ステップＳ１０４：撮像装置１３は、ステップＳ１０３のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
　ステップＳ１０５：表示装置１２は、ステップＳ１０４のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
　ステップＳ１０６：表示装置１２は、第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介して撮像装置１３に出力する。
　ステップＳ１０７：撮像装置１３は、受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、ステップＳ１０２で一時的に保持された画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ１０７－Ｎｏ）、ステップＳ１０８に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ１０７－Ｙｅｓ）、ステップＳ１０９に進む。
　ステップＳ１０８：ステップＳ１０７において画質特性値が目標値と略一致していないときには（ステップＳ１０７－Ｎｏ）、撮像装置１３は、参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。そして撮像装置１３は、ステップＳ１０３に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
　ステップＳ１０９：ステップＳ１０７において画質特性値が目標値と略一致しているときには（ステップＳ１０７－Ｙｅｓ）、撮像装置１３は、調整終了通知を表示装置１２に出力する。
　ステップＳ１１０：表示装置１２は、調整終了通知を受信すると、ステップＳ１０５で生成された第２のデジタル画像信号に対してガンマ補正等の画像調整を施す。
　ステップＳ１１１：表示装置１２は、ステップＳ１１０で画像調整が施された第２のデジタル画像信号に基づく画像を表示する。
　車載カメラを用いる一般的な撮像システムにおいて、車載カメラが生成するデジタル画像信号は、例えばビデオ信号などのアナログ画像信号に変換されて、表示装置などの出力先に出力される。このため、例えば車載カメラが生成するデジタル画像信号は、車載カメラのＤ／Ａ変換誤差の影響、およびアナログ画像信号の送信過程における外乱などの影響を受ける可能性がある。このように、車載カメラにおけるＤ／Ａ変換前のデジタル画像信号と、出力先におけるＡ／Ｄ変換後のデジタル画像信号とは、必ずしも一致しない。したがって、デジタル画像信号をアナログ画像信号に変換して出力する撮像システムにおいて、Ｄ／Ａ変換誤差や送信過程における外乱などの影響に関し改善の余地があった。
　一方、第１の実施形態に係る撮像装置１３は、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を受けている第２のデジタル画像信号の画質特性値を示す参照情報を受信する。このため撮像装置１３は、参照情報を用いることによって、撮像装置１３の外部、例えば表示装置１２で生成される第２のデジタル画像信号の画質特性値を目標値に近づけるように制御可能となり、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を低減可能である。
　また、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響を受けていない第１のデジタル画像信号の画質特性値が、一時的に保持される。一時的に保持された当該画質特性値を目標値に定めることによって、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響がさらに低減される。
（第２の実施形態）
　概略として、第２の実施形態に係る撮像装置は、車両に備えられる他の撮像装置を基準として、自装置が生成する第１のデジタル画像信号の画質特性の調整を行う点が第１の実施形態と相違する。以下、具体的に説明する。
　第２の実施形態に係るカメラシステム１１は、表示装置と、複数の撮像装置１３と、を備える。本実施形態においてカメラシステム１１は、４つの撮像装置１３を備える。以下、４つの撮像装置１３を特に区別する場合には、それぞれフロントカメラ１３ａ、リアカメラ１３ｂ、左サイドカメラ１３ｃ、および右サイドカメラ１３ｄという。
　表示装置１２は、入出力部１４と、ＡＤ変換部１５と、表示部１６と、表示装置制御部１７と、を備える。入出力部１４、ＡＤ変換部１５、および表示部１６は第１の実施形態と同一である。
　表示装置制御部１７は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。表示装置制御部１７は、表示装置１２全体の動作を制御する。
　例えば表示装置制御部１７は、ＡＤ変換部１５による第２のデジタル画像信号の生成に応じて、当該第２のデジタル画像信号の画質特性値を示す参照情報を、入出力部１４およびネットワーク１９を介して撮像装置１３に出力する。ここで参照情報に示される第２のデジタル画像信号の画質特性値は、例えば第２のデジタル画像信号に基づく画像の全部領域または一部領域における画質特性値を含んでもよい。参照情報は、第２のデジタル画像信号に基づく画像の、各撮像装置１３が互いに重複して撮像可能な車両１０の周辺領域における画質特性値を示してもよい。ここで周辺領域は、例えば図２に示す左前方領域ＦＬＡ、右前方領域ＦＲＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡである。
　また表示装置制御部１７は、何れかの撮像装置１３から後述する調整終了通知を受信すると、当該撮像装置１３の参照情報を、当該当該調整終了通知が示す他の撮像装置１３に出力する。撮像装置１３の参照情報を他の撮像装置１３に出力する処理の詳細については後述する。
　また表示装置制御部１７は、全ての撮像装置１３から後述する調整終了通知を受信すると、各撮像装置１３の第２のデジタル画像信号に対して、例えばガンマ補正、歪み補正、切出処理、および視点変換処理等の所定の画像調整を施す。そして表示装置制御部１７は、画像調整によって俯瞰画像に変換された複数の第２のデジタル画像信号に基づく画像を結合して、結合画像を生成する。結合画像は、例えば車両１０の全周囲の俯瞰画像である。全周囲の俯瞰画像において、例えば前方領域ＦＡ、左前方領域ＦＬＡ、および右前方領域ＦＲＡにはフロントカメラ１３ａの画像、後方領域ＲｅＡ、左後方領域ＲｅＬＡ、および右後方領域ＲｅＲＡにはリアカメラ１３ｂの画像、左側方領域ＬＡには左サイドカメラ１３ｃの画像、ならびに右側方領域ＲＡには右サイドカメラ１３ｄの画像がそれぞれ用いられる。そして表示装置制御部１７は、結合画像を表示部１６に表示させる。
　撮像装置１３は、光学系２０と、撮像素子２１と、画像処理部２２と、ＤＡ変換部２３と、入出力部２４と、カメラ制御部２５とを備える。光学系２０、撮像素子２１、画像処理部２２、ＤＡ変換部２３、および入出力部２４は、第１の実施形態と同一である。
　カメラ制御部２５は、例えば専用のマイクロプロセッサまたは特定のプログラムを読み込むことによって特定の処理を実行する汎用のＣＰＵである。カメラ制御部２５は、撮像装置１３全体の動作を制御する。
　例えばカメラ制御部２５は、撮像素子２１の動作を制御して、周期的に、例えば３０ｆｐｓでアナログ画像信号を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、撮像素子２１によって生成されたアナログ画像信号に前段画像処理を施して第１のデジタル画像を生成する。またカメラ制御部２５は、画像処理部２２の動作を制御して、第１のデジタル画像に対して後段画像処理を施す。またカメラ制御部２５は、後段画像処理が施された第１のデジタル画像信号の画質特性値を、例えば次フレームのアナログ画像信号を生成するまで、一時的に保持する。
　またカメラ制御部２５は、撮像素子２１によってアナログ画像信号が生成された時刻における車両１０の制御情報を取得する。制御情報は、時刻情報および車両１０の状態に関する多様な情報が含まれる。車両１０の状態に関する多様な情報には、例えば、車両１０の進行方向（前進または後進）を示す情報、ステアリング舵角を示す情報、ウインカスイッチの状態を示す情報、照明（例えば、ヘッドランプ、テールランプ、およびブレーキランプ）の状態を示す情報、および車両１０の速度を示す情報等が含まれる。カメラ制御部２５は、任意の方法によって制御情報を取得可能である。例えばカメラ制御部２５は、ネットワーク１９および入出力部２４を介して車両１０から取得してもよい。あるいは、カメラ制御部２５は、車両１０に備えられる各種センサ等の他の構成要素が出力する制御情報を有線または無線によって取得してもよい。
　またカメラ制御部２５は、車両１０の制御情報に基づいて各撮像装置１３の従属関係を決定する。従属関係は、後述するように各撮像装置１３が第１のデジタル画像信号の画質特性の調整を行う際に基準とする上位の他の撮像装置１３、および上位に対する下位の他の撮像装置１３を定める関係である。従属関係の具体例については後述する。従属関係において、各撮像装置１３は、例えば上位から順に一次装置、二次装置、および三次装置のいずれかに定められる。また従属関係は、車両１０の制御情報に基づいて任意に定められる。本実施形態においてカメラ制御部２５は、車両１０の状態に応じて運転者が注目する蓋然性が高い結合画像上の領域に対応する１つの撮像装置１３を一次装置に定める。またカメラ制御部２５は、一次装置の撮像範囲と重複する領域を撮像可能な他の撮像装置１３を二次装置に定める。またカメラ制御部２５は、二次装置の撮像範囲と重複する領域を撮像可能な他の撮像装置１３を三次装置に定める。例えば表示装置制御部１７は、車両１０の進行方向が前方であること、左折のウインカスイッチがＯＮであること、および速度がゼロ（停車中）であることを示す情報が制御情報に含まれるときに、車両１０が左折しようとしていると判定可能である。このとき、車両１０の運転者は結合画像において車両１０の左前方領域ＦＬＡに注目すると考えられる。このためカメラ制御部２５は、結合画像において左前方領域ＦＬＡに対応するフロントカメラ１３ａを一次装置に定める。またカメラ制御部２５は、フロントカメラ１３ａの撮像範囲と重複する領域を撮像可能な左サイドカメラ１３ｃおよび右サイドカメラ１３ｄを二次装置に定める。またカメラ制御部２５は、左サイドカメラ１３ｃの撮像範囲または右サイドカメラ１３ｄの撮像範囲と重複する領域を撮像可能なリアカメラ１３ｂを三次装置に定める。複数の撮像装置１３のうち１つの撮像装置１３が、従属関係を決定し、決定された従属関係を例えば入出力部２４およびネットワーク１９を介して他の撮像装置１３に通知してもよい。
　そしてカメラ制御部２５は、画像処理部２２およびＤＡ変換部２３の動作を制御して、第１のデジタル画像信号の画質特性の調整、本実施形態では露出調整またはホワイトバランス調整を行う。露出調整またはホワイトバランス調整における画質特性値の目標値は、は、従属関係に応じて各撮像装置１３で相違する。以下、例えばフロントカメラ１３ａが一次装置、左サイドカメラ１３ｃおよび右サイドカメラ１３ｄが二次装置、およびリアカメラ１３ｂが三次装置であるものとして説明する。
　一次装置（フロントカメラ１３ａ）のカメラ制御部２５は、第１の実施形態と同様に、後段画像処理が施された第１のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、自装置の参照情報に基づいて、第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の露出調整またはホワイトバランス調整を行う。
　またカメラ制御部２５は、第１のデジタル画像信号の調整が終了すると、調整終了通知を表示装置１２に出力する。ここで調整終了通知には、一次装置の下位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄ）を示す情報が含まれる。そして当該調整終了通知を受信した表示装置１２は、入出力部１４およびネットワーク１９を介して、一次装置の下位である二次装置に、一次装置の参照信号を送信する。当該参照信号には、画質特性の調整が終了した一次装置の第１のデジタル画像信号に基づいて生成された第２のデジタル画像信号の画質特性値を示す情報が含まれる。
　二次装置（例えば、左サイドカメラ１３ｃ）のカメラ制御部２５は、上位である一次装置（フロントカメラ１３ａ）の参照情報を待ち受ける。続いてカメラ制御部２５は、一次装置の参照情報を受信すると、当該参照情報に示される一次装置の第２のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力する。続いてカメラ制御部２５は、表示装置１２から自装置の参照情報を受信する。続いてカメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値と略一致しているか否かを判定する。
　画質特性値が目標値と略一致していないときには、カメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、後段画像処理が施された第１のデジタル画像信号の画質特性の調整を行う。具体的には、カメラ制御部２５は、露出調整またはホワイトバランス調整を行う。そしてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、調整された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力し、第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
　一方、画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。調整終了通知には、二次装置の下位である三次装置（リアカメラ１３ｂ）示す情報が含まれる。
　このように二次装置は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が、一次装置の参照情報に示される他の第２のデジタル画像信号の画質特性値に近づくように、自装置の第１のデジタル画像信号の画質特性の調整を行う。
　また二次装置である右サイドカメラ１３ｄの動作については、左サイドカメラ１３ｃと同様である。
　そして当該調整終了通知を受信した表示装置１２は、入出力部１４およびネットワーク１９を介して、二次装置の下位である三次装置に、二次装置の参照信号を送信する。当該参照信号には、画質特性の調整が終了した二次装置の第１のデジタル画像信号に基づいて生成された第２のデジタル画像信号の画質特性値を示す情報が含まれる。
　三次装置（リアカメラ１３ｂ）のカメラ制御部２５は、上位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄの少なくとも一方）の参照情報を待ち受ける。続いてカメラ制御部２５は、二次装置の参照情報を受信すると、当該参照情報に示される二次装置の第２のデジタル画像信号の画質特性値を、目標値に定めて一時的に保持する。続いてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、後段画像処理が施された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力する。続いてカメラ制御部２５は、表示装置１２から自装置の参照情報を受信する。続いてカメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値と略一致しているか否かを判定する。
　画質特性値が目標値と略一致していないときには、カメラ制御部２５は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、後段画像処理が施された第１のデジタル画像信号の画質特性の調整を行う。具体的には、カメラ制御部２５は、露出調整またはホワイトバランス調整を行う。そしてカメラ制御部２５は、ＤＡ変換部２３の動作を制御して、調整された第１のデジタル画像信号をＤ／Ａ変換したアナログ画像信号を表示装置１２に出力し、第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
　一方、画質特性値が目標値と略一致しているときには、カメラ制御部２５は、第１のデジタル画像信号の画質特性の調整を終了して、調整終了通知を表示装置１２に出力する。
　このように三次装置は、自装置の参照情報に示される第２のデジタル画像信号の画質特性値が、二次装置の参照情報に示される他の第２のデジタル画像信号の画質特性値に近づくように、自装置の第１のデジタル画像信号の画質特性の調整を行う。
　そして全ての撮像装置１３から調整終了通知を受信した表示装置１２は、上述したように、俯瞰画像に変換された複数の第２のデジタル画像信号に基づく画像を結合した結合画像を表示部１６に表示させる。
　次に図５に示すフローチャートを参照して、本実施形態に係る撮像装置１３の動作の例について説明する。本動作は、例えば撮像装置１３がアナログ画像信号を生成する各フレームにおいて実行される。
　ステップＳ２００：撮像装置１３は、被写体像を撮像してアナログ画像信号を生成する。
　ステップＳ２０１：撮像装置１３は、アナログ画像信号に対して前段画像処理を施し、第１のデジタル画像信号を生成する。
　ステップＳ２０２：撮像装置１３は、第１のデジタル画像信号に対して後段画像処理を施す。
　ステップＳ２０３：撮像装置１３は、ステップＳ２００でアナログ画像信号が生成された時刻における車両１０の制御情報を取得する。
　ステップＳ２０４：撮像装置１３は、車両１０の制御情報に基づいて各撮像装置１３の従属関係を決定する。ここでは、フロントカメラ１３ａが一次装置、左サイドカメラ１３ｃおよび右サイドカメラ１３ｄが二次装置、およびリアカメラ１３ｂが三次装置に定められるものとする。ステップＳ２０４の処理は、複数の撮像装置１３のうちの１つが実行し、決定された従属関係を他の撮像装置１３に通知してもよい。また一次装置に定められたフロントカメラ１３ａは、後段画像処理が施された第１のデジタル画像信号の画質特性値を目標値に定めて一時的に保持する。
　ステップＳ２０５：撮像装置１３は、表示装置１２と共に、第１のデジタル画像信号の画質特性の調整処理を行う。画質特性の調整処理の内容は、上述したように従属関係に応じて各撮像装置１３で相違する。
　次に図６に示すフローチャートを参照して、表示装置１２および一次装置に定められた撮像装置１３（例えば、フロントカメラ１３ａ）の動作の例について説明する。本動作は、図５のステップＳ２０５に示す第１のデジタル画像信号の画質特性の調整処理に相当する。
　ステップＳ３００：フロントカメラ１３ａは、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
　ステップＳ３０１：フロントカメラ１３ａは、ステップＳ３００のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
　ステップＳ３０２：表示装置１２は、ステップＳ３０１のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
　ステップＳ３０３：表示装置１２は、フロントカメラ１３ａの第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介してフロントカメラ１３ａに出力する。
　ステップＳ３０４：フロントカメラ１３ａは、受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、図５に示すステップＳ２０４で一時的に保持された、後段画像処理が施された第１のデジタル画像信号の画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ３０４－Ｎｏ）、ステップＳ３０５に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ３０４－Ｙｅｓ）、ステップＳ３０６に進む。
　ステップＳ３０５：ステップＳ３０４において画質特性値が目標値と略一致していないときには（ステップＳ３０４－Ｎｏ）、フロントカメラ１３ａは、参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、ここでは露出調整またはホワイトバランス調整を行う。そしてフロントカメラ１３ａは、ステップＳ３００に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
　ステップＳ３０６：ステップＳ３０４において画質特性値が目標値と略一致しているときには（ステップＳ３０４－Ｙｅｓ）、フロントカメラ１３ａは、調整終了通知を表示装置１２に出力する。調整終了通知には、一次装置の下位である二次装置（左サイドカメラ１３ｃおよび右サイドカメラ１３ｄ）を示す情報が含まれる。
　次に図７に示すフローチャートを参照して、表示装置１２および二次装置または三次装置に定められた撮像装置１３（例えば、左サイドカメラ１３ｃ）の動作の例について説明する。本動作は、図５のステップＳ２０５に示す第１のデジタル画像信号の画質特性の調整処理に相当する。
　ステップＳ４００：二次装置である左サイドカメラ１３ｃは、上位の一次装置である他の撮像装置１３の他の参照情報、ここではフロントカメラ１３ａの参照情報を待ち受ける。左サイドカメラ１３ｃが表示装置１２からフロントカメラ１３ａの参照情報を取得すると、当該参照情報に示されるフロントカメラ１３ａの第２のデジタル画像信号の画質特性値を目標値に定めて一時的に保持し、ステップＳ４０１に進む。
　ステップＳ４０１：左サイドカメラ１３ｃは、第１のデジタル画像信号を出力用のアナログ画像信号に変換する。
　ステップＳ４０２：左サイドカメラ１３ｃは、ステップＳ４０１のアナログ画像信号を、専用線１８を介して表示装置１２に出力する。
　ステップＳ４０３：表示装置１２は、ステップＳ４０２のアナログ画像信号をＡ／Ｄ変換して第２のデジタル画像信号を生成する。
　ステップＳ４０４：表示装置１２は、左サイドカメラ１３ｃの第２のデジタル画像信号の画質特性値を示す参照情報を、ネットワーク１９を介して左サイドカメラ１３ｃに出力する。
　ステップＳ４０５：左サイドカメラ１３ｃは、ステップＳ４０４で受信された参照情報に示される第２のデジタル画像信号の画質特性値が所定の目標値と略一致しているか否かを判定する。ここで目標値は、ステップＳ４００で一時的に保持された、一次装置（フロントカメラ１３ａの第２のデジタル画像信号の画質特性値である。画質特性値が目標値と略一致していないときには（ステップＳ４０５－Ｎｏ）、ステップＳ４０６に進む。一方、画質特性値が目標値と略一致しているときには（ステップＳ４０５－Ｙｅｓ）、ステップＳ４０７に進む。
　ステップＳ４０６：ステップＳ４０５において画質特性値が目標値と略一致していないときには（ステップＳ４０５－Ｎｏ）、左サイドカメラ１３ｃは、左サイドカメラ１３ｃの参照情報に示される第２のデジタル画像信号の画質特性値が目標値に近づくように、第１のデジタル画像信号の画質特性の調整、ここでは露出調整またはホワイトバランス調整が行われる。そして左サイドカメラ１３ｃは、ステップＳ４０１に戻って第１のデジタル画像信号の画質特性の調整を繰り返し実行する。
　ステップＳ４０７：ステップＳ４０５において画質特性値が目標値と略一致しているときには（ステップＳ４０５－Ｙｅｓ）、撮像装置１３は、調整終了通知を表示装置１２に出力する。調整終了通知には、二次装置の下位である三次装置（リアカメラ１３ｂ）示す情報が含まれる。
　次に図８に示すフローチャートを参照して、表示装置１２が結合画像を表示する動作の例について説明する。
　ステップＳ５００：表示装置１２は、全ての撮像装置１３からの調整終了通知を待ち受ける。表示装置１２が全ての撮像装置１３から調整終了通知を取得すると、ステップＳ５０１に進む。
　ステップＳ５０１：表示装置１２は、各撮像装置１３の第２のデジタル画像信号に対して所定の画像調整を施した画像を結合して、結合画像を生成する。
　ステップＳ５０２：表示装置１２は、結合画像を表示する。
　このように、第２の実施形態に係る撮像装置１３は、他の撮像装置１３の他の参照情報を受信し、当該他の参照情報に示される他の第２のデジタル画像信号の画質特性値を目標値に定める。撮像装置１３は、他の参照情報を用いることによって、撮像装置１３の外部、例えば表示装置１２で生成される自装置の第２のデジタル画像信号の画質特性値を他の撮像装置１３の第２のデジタル画像信号の画質特性値に近づけるように制御可能となる。このため、撮像装置１３のＤ／Ａ変換による影響およびアナログ画像信号の送信過程における影響が低減されるとともに、撮像装置１３と他の撮像装置１３との間で第２のデジタル画像信号の色または明るさ等の画質特性が略一致する。色または明るさが略一致した複数の画像は、例えば複数の画像を結合して生成される結合画像の視認性向上に好適である。
（第３の実施形態）
　図９は、第３の実施形態に係る撮像装置を備える異常判定システム（「撮像システム」ともいう。）の機能ブロック図の一例を示す図である。異常判定システムは、撮像装置１００、表示装置２００、第１の伝送路３００、第２の伝送路４００および第３の伝送路５００を含んで、構成される。撮像装置１００が撮像する撮像画像を表示装置２００は表示する。また、撮像装置１００は、撮像画像の出力経路上に異常が発生しているか否かを判定する。
　次に、撮像装置１００および表示装置２００の各機能を説明するが、撮像装置１００および表示装置２００が備える他の機能を排除することを意図したものではないことに留意されたい。本実施形態に係る撮像装置１００および表示装置２００は例えば車両に設置される。撮像装置１００は車両以外の移動体に設置されてもよい。撮像装置１００は電子機器関連の要素と通信するが、以下の説明においては、他の機能部を構成する要素の図示および説明は省略する。
　撮像装置１００は、制御部１１００、撮像部１２００、第１の出力部１３００、第２の出力部１４００および取得部１５００を備える。
　制御部１１００は、撮像装置１００の各種動作を制御するコンピュータである。例えば制御部１１００は、撮像部１２００から取得した画像に対して任意の画像処理（Ａ／Ｄ変換、Ｄ／Ａ変換等）を行う。また、制御部１１００は、画像を符号化する。また、制御部１１００は、後述する取得部１５００が取得した画像を、後述する第１の出力部１３００が出力したテストパターン画像の対応領域と比較する。テストパターン画像の画像信号は、例えば所定のカラーバー信号であるが、これに限定されない。テストパターン画像はカラー画像であってもモノクロ画像であってもよい。
　撮像部１２００は、光学系および撮像素子を有する。光学系はレンズなどの光学素子によって構成され、撮像装置１が設置される車両の周辺の画像を結像する。撮像素子は、例えばＣＭＯＳまたはＣＣＤ撮像素子であり、光学系が結像する画像を、カラー画像またはモノクロ画像として撮像する。
　第１の出力部１３００は例えば、コネクタである。第１の出力部１３００は、撮像部１２００が撮像した撮像画像と所定のテストパターン画像とを切替えて、第１の伝送路３００を介して表示装置２００へ出力可能である。
　第２の出力部１４００は例えば、コネクタである。第２の出力部１４００は、テストパターン画像の少なくとも一部の領域を指定する情報を第２の伝送路４００を介して表示装置２００に出力する。
　取得部１５００は例えば、コネクタである。取得部１５００は、表示装置２００から、テストパターン画像の少なくとも一部の領域の画像を取得する。取得部１５００は、取得した画像を制御部１１００に出力する。
　表示装置２００は、制御部２１００、取得部２２００、復号部２３００、駆動部２４００、表示部２５００および通信制御部２６００を備える。
　制御部２１００は、表示装置２００の各種動作を制御するコンピュータである。例えば制御部２１００は、後述する取得部２２００が取得したテストパターン画像から、その少なくとも一部の領域の画像を、後述する通信制御部２６００に抽出させる。
　取得部２２００は例えば、コネクタである。取得部２２００は、第１の出力部１３００から、撮像画像またはテストパターン画像の少なくとも一方を取得する。取得部２２００はまた、第２の出力部１４００から、テストパターン画像の少なくとも一部の領域を指定する情報を取得する。取得部２２００は、取得した情報を復号部２３００へ出力する。後述する第４の実施形態では、取得部２２００は、取得した画像を通信制御部２６００へ出力する。
　復号部２３００は、取得部２２００が取得した撮像画像またはテストパターン画像の少なくとも一方の画像信号を復号する。復号部２３００は例えば、画像処理を行うＤＳＰである。復号部２３００は、復号した画像を駆動部２４００に出力する。
　駆動部２４００は、例えば、ＬＣＤドライバである。駆動部２４００は、復号部２３００から取得した画像に基づいて、表示部２５００を駆動する。
　表示部２５００は、例えば、液晶ディスプレイであり、駆動部２４００の駆動によって撮像画像を表示する。表示部２５００は、テストパターン画像を表示してもよい。表示部２５００は、例えばタッチパネルで構成され、ユーザから入力を受付けるインターフェースとして機能してもよい。
　通信制御部２６００は、例えば、ゲートアレイのＣＡＮコントローラである。通信制御部２６００は、復号部２３００が復号した後のテストパターン画像を取得する。通信制御部２６００は、取得したテストパターン画像から、取得部２２００が取得した、テストパターン画像の少なくとも一部の領域を指定する情報に対応する領域の画像を抽出する。通信制御部２６００は、抽出した画像を、第３の伝送路５００を介して撮像装置１００に出力する。
　第１の伝送路３００は例えば専用線である。第１の伝送路３００は、第１の出力部１３００が出力した画像を表示装置２００へ伝送する。第２の伝送路４００は例えば専用線であるが、バスであってもよい。第２の伝送路４００は、第２の出力部１４００が出力した情報を表示装置２００へ伝送する。後述する第３の伝送路５００が、第２の伝送路４００の代わりに、第２の出力部１４００が出力した情報を表示装置２００へ伝送してもよい。
　第３の伝送路５００は例えばバスである。第３の伝送路５００は、通信制御部２６００が出力した画像をＣＡＮ通信によって撮像装置１００へ伝送する。第３の伝送路５００の本数は２本以上であってもよい。
［異常判定システムが行う処理］
　制御部１１００は、撮像装置１００が設置される車両のエンジンが起動し撮像装置１００が起動したことを検出する。制御部１１００は、撮像装置１００が起動したことを検出すると、所定のテストパターン画像を表示装置２００へ出力する。制御部１１００は、撮像装置１００が起動したことを検出した時点ではなく、車両に対して任意の運転操作がなされた時点でテストパターン画像を表示装置２００へ出力してもよい。運転操作には、例えば車両の運転者がギアをリバースに入れる操作が含まれてもよい。表示装置２００において取得部２２００はテストパターン画像を取得し、復号部２３００へ出力する。
　復号部２３００はテストパターン画像を復号する。次いで、復号部２３００は、復号したテストパターン画像を通信制御部２６００へ出力する。
　通信制御部２６００は、取得したテストパターン画像のうち少なくとも一部の領域の画像を抽出する。例えば、通信制御部２６００は、図１０に示すテストパターン画像３０００全体から、少なくとも一部の領域の画像３１００または３２００等を抽出する。図１０に示す通り、少なくとも一部の領域は例えば、テストパターン画像内に予め定められた境界３３００、すなわち変位に伴い画素値が変わる境界部分を含む領域である。
　通信制御部２６００は、抽出した画像を、第３の伝送路５００を介して撮像装置１００へ出力する。
　通信制御部２６００がテストパターン画像内で抽出する領域は、例えば、撮像装置１００の制御部１１００によって指定される。具体的には制御部１１００は、抽出する領域を、例えば、その領域の画像を構成する１以上の画素の座標によって指定する。制御部１１００は、テストパターン画像を表示装置２００に出力する時またはその前後に、テストパターン画像の少なくとも一部の領域を指定する情報を、第２の伝送路４００を介して表示装置２００に出力する。
　取得部１５００は、表示装置２における通信制御部２６００から出力される、テストパターン画像の少なくとも一部の領域の画像を取得する。撮像装置１００の制御部１１００は、取得部１５００が取得した画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較（照合）する。すなわち、撮像装置１００の制御部１１００は、２つの画像の画素情報を比較する。対応する領域とは、比較する２つの画像における、撮像装置１００が指定した領域である。
　比較した２つの画像の画素情報が同一でないと制御部１１００が判定した場合、撮像装置１００と表示装置２００との間または表示装置２００内に異常があると推定される。この場合、制御部１１００は、異常がある旨の報知を、例えば第３の伝送路５００を介して表示装置２００に行わせる。この場合、制御部１１００は、車両の特定の機能を停止させ得る情報を、表示装置２００を含む車載機器に出力してもよい。
　一方、比較した２つの画像が同一であると制御部１１００が判定した場合、撮像装置１００と表示装置２００との間や表示装置２００内は正常であると推定される。
［動作フロー］
　図１１に示すように、撮像装置１００は、撮像装置１００が設置される車両のエンジンが起動したことを検出する（ステップＳ６０１）。撮像装置１００は、テストパターン画像を表示装置２００に出力する（ステップＳ６０２）。撮像装置１００は、ステップＳ６０２で出力したテストパターン画像の少なくとも一部の領域を指定する情報を表示装置２００へ出力する（ステップＳ６０３）。ステップＳ６０３は、ステップＳ６０２と同時に行ってもよいし、ステップＳ６０２の前後で行ってもよい。撮像装置１００は、表示装置２００から出力される、テストパターン画像の少なくとも一部の領域の画像を取得する（ステップＳ６０４）。撮像装置１００は、ステップＳ６０４で取得した画像を、ステップＳ６０２で出力したテストパターン画像の、ステップＳ６０４で取得した画像が示す領域に対応する領域の画像と比較する（ステップＳ６０５）。撮像装置１００は、比較結果から、異常あるか否かを判定する（ステップＳ６０６）。撮像装置１００は、異常があると判定した場合（ステップＳ６０６のＹＥＳ）、異常がある旨の報知を表示装置２００に行わせる（ステップＳ６０７）。また、撮像装置１００は、車両の特定の機能を停止させ得る情報を車載機器に出力してもよい。撮像装置１００は、正常であると判定した場合（ステップＳ６０６のＮＯ）、ステップＳ６０７を行わない。
　上記実施形態の通り、制御部１１００は、取得部１５００が取得した画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。これによって、撮像装置１００と表示装置２００との間または表示装置２００内に異常があるか否かを判定することが可能となる。
　また、少なくとも一部の領域は例えば、テストパターン画像として予め定められた境界部分の領域である。境界部分の領域においては、例えば、進行波と反射波とによって発生する定在波等の影響による同期信号の位相ずれが生じているときに、画像の乱れが発生しやすい。それゆえ、このような構成によって、カメラと表示装置との間または表示装置内に異常があるか否かを判定することが容易となる。
　更に、テストパターン画像は、色情報を有するカラー画像であってもよい。異常によって、画像からまず色情報から失われることがある。従って、このような構成によって、異常があるか否かの判定をすることが容易となる。
（第４の実施形態）
　上記の第３の実施形態では、通信制御部２６００が、復号部２３００が復号した後のテストパターン画像を取得する。他方、第４の実施形態では、通信制御部２６００が、復号部２３００が復号する前のテストパターン画像を取得する。この点以外の、異常判定システムが行う処理は上記の実施形態の処理と同様である。
　本実施形態の場合、通信制御部２６００が取得し撮像装置１００に出力する画像は、復号部２３００が復号を行っていない画像である。従って、比較した２つの画像が同一でないと制御部１１００が判定した場合、撮像装置１００と表示装置２００との間に異常があると推定される。
　本実施形態では、このような構成によって、撮像装置１００と表示装置２００との間に異常があるか否かを判定することができる。
（第５の実施形態）
　第５の実施形態は、第３の実施形態と第４の実施形態とを組み合わせる。すなわち、通信制御部２６００は、復号部２３００が復号する前のテストパターン画像および復号した後のテストパターン画像の両方を取得する。更に、通信制御部２６００は、両方のテストパターン画像を撮像装置１００に出力し、取得部１５００はそれらを取得して制御部１１００に出力する。制御部１１００は、復号部２３００が復号する前のテストパターン画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。更に、制御部１１００は、復号部２３００が復号した後のテストパターン画像を、第１の出力部１３００が出力したテストパターン画像の、取得した画像が示す領域に対応する領域の画像と比較する。
　このように２回の比較を行ったときの、異常箇所の判定結果を図１２に示す。「○」は比較した画像が同一であることを示し、「Ｘ」は比較した画像が異なることを示す。
　本実施形態においては、このような構成によって、制御部１１００が異常箇所を詳細に判定することができる。
（第６の実施形態）
　上記第３の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、撮像装置１００の制御部１１００が指定する。他方、第６の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、通信制御部２６００が任意に決定する。従って、本実施形態では、異常判定システムは第２の出力部１４００を備える必要がない。
　本実施形態では、通信制御部２６００は、どの領域の画像を抽出したかを、例えば、その領域の画像を構成する１以上の画素の座標によって示す。通信制御部２６００は、どの領域の画像を抽出したかを示す情報を、撮像装置１００に出力する。制御部１１００が比較する対応する領域は、比較する２つの画像における、通信制御部２６００が決定した領域である。
（第７の実施形態）
　上記第３の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域を、制御部１１００が指定する。他方、第７の実施形態では、通信制御部２６００がテストパターン画像内で抽出する領域は、予め定められている。従って、本実施形態では、異常判定システムは第２の出力部１４００を備える必要がない。
　本実施形態では、通信制御部２６００は、予め定められた所定の領域を抽出し、撮像装置１００へ出力する。予め定められた所定の領域は、テストパターン画像の一部の領域であってもよいし、全部の領域であってもよい。
　本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段やステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。
　例えば、上述した第１の実施形態および第２の実施形態において、撮像装置１３（第２の実施形態においては一次装置）は後段画像処理が施された現在フレームの第１のデジタル画像信号の画質特性値を目標値に定める構成について説明したが、実施形態の構成はこれに限られない。例えば後段画像処理が施された過去フレームの第１のデジタル画像信号の画質特性値を目標値に定めてもよい。同様に、上述した第２の実施形態において、例えば二次装置に定められた撮像装置１３は、過去のフレームの他の参照信号に示される第２のデジタル画像信号の画質特性値を目標値に定めてもよい。
　また、上述した第１の実施形態または第２の実施形態と、第３の実施形態と、が組み合わされてもよい。例えば、第１の実施形態または第２の実施形態に係る第１のデジタル画像信号として、第３の実施形態に係るテストパターン画像が採用されてもよい。また例えば、第１の実施形態または第２の実施形態において、第１のデジタル画像信号の少なくとも一部の領域の画質特性値と、第２のデジタル画像信号の少なくとも一部の領域の画質特性値と、の比較に基づいて、撮像装置１３と表示装置１２との間に、または、表示装置１２内に、異常があるか否かを判定してもよい。
　また、上述の実施形態に係るシステムの構成要素の一部は、車両の外部に設けられてもよい。例えば、表示装置１２、２００、および撮像装置１３、１００等は、携帯電話等の通信機器として実現され、システムの他の構成要素と有線または無線によって接続されてもよい。
　また、撮像装置１３、１００または表示装置１２、２００の少なくとも一方をコンピュータで構成した場合、各機能を実現する処理内容を記述したプログラムを、そのコンピュータの内部または外部の記憶部に格納しておき、そのコンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。また、このようなプログラムは、例えばＤＶＤまたはＣＤ－ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等によって流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することによって、流通させることができる。また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
１０　　車両
１１　　カメラシステム
１２　　表示装置
１３　　撮像装置
１３ａ　　フロントカメラ
１３ｂ　　リアカメラ
１３ｃ　　左サイドカメラ
１３ｄ　　右サイドカメラ
１４　　入出力部
１５　　ＡＤ変換部
１６　　表示部
１７　　表示装置制御部
１８　　専用線
１９　　ネットワーク
２０　　光学系
２１　　撮像素子
２２　　画像処理部
２３　　ＤＡ変換部
２４　　入出力部
２５　　カメラ制御部
１００　　撮像装置
２００　　表示装置
３００　　第１の伝送路
４００　　第２の伝送路
５００　　第３の伝送路
１１００　制御部
１２００　撮像部
１３００　第１の出力部
１４００　第２の出力部
１５００　取得部
２１００　制御部
２２００　取得部
２３００　復号部
２４００　駆動部
２５００　表示部
２６００　通信制御部

Claims (10)

  1. 　第１のデジタル画像を生成する画像処理部と、
    　前記第１のデジタル画像をアナログ画像に変換して出力するＤＡ変換部と、
    　前記アナログ画像に基づいて生成される第２のデジタル画像の画質特性値を示す参照情報を受信する入出力部と、
    　前記画像処理部の動作を制御して、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う制御部と、
    を備える撮像装置。
  2. 　請求項１に記載の撮像装置であって、
    　前記目標値は、前記第１のデジタル画像の画質特性値である、撮像装置。
  3. 　請求項１に記載の撮像装置であって、
    　前記制御部は、さらに他の撮像装置が出力した他のアナログ画像に基づいて生成される他の第２のデジタル画像の画質特性値を示す他の参照情報を受信し、
    　前記目標値は、前記他の第２のデジタル画像の画質特性値である、撮像装置。
  4. 　請求項１乃至３の何れか一項に記載の撮像装置であって、
    　前記第１のデジタル画像の画質特性の調整は、露出調整またはホワイトバランス調整を含む、撮像装置。
  5. 　請求項１乃至４の何れか一項に記載の撮像装置であって、
    　前記第１のデジタル画像は、テストパターン画像であり、
    　前記制御部は、前記第１のデジタル画像上の特定領域と、前記第２のデジタル画像上の前記特定領域と、を比較する、撮像装置。
  6. 　請求項５に記載の撮像装置であって、
    　前記特定領域は、前記テストパターン画像内に予め定められた境界部分を含む領域である、撮像装置。
  7. 　請求項５または６に記載の撮像装置であって、
    　前記入出力部は、前記特定領域を指定する情報を出力する、撮像装置。
  8. 　請求項５乃至７の何れか一項に記載の撮像装置であって、
    　前記制御部は、前記前記第１のデジタル画像上の前記特定領域の色情報と、前記第２のデジタル画像上の前記特定領域の色情報と、を比較する、撮像装置。
  9. 　第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、
    　前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す参照情報を前記撮像装置に出力する表示装置と、を備え、
    　前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う、撮像システム。
  10. 　第１のデジタル画像を生成し、前記第１のデジタル画像をアナログ画像に変換して出力する撮像装置と、前記アナログ画像を受信し、前記アナログ画像を第２のデジタル画像に変換し、該第２のデジタル画像の画質特性値を示す情報を前記撮像装置に出力する表示装置と、を有する撮像システムを備え、
    　前記撮像装置は、前記第２のデジタル画像の画質特性値が所定の目標値に近づくように前記第１のデジタル画像の画質特性の調整を行う、車両。
PCT/JP2016/001768 2015-03-27 2016-03-25 撮像装置、撮像システム、および車両 WO2016157873A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017509286A JPWO2016157873A1 (ja) 2015-03-27 2016-03-25 撮像装置、撮像システム、および車両
US15/561,600 US20180069998A1 (en) 2015-03-27 2016-03-25 Imaging apparatus, imaging system, and vehicle
EP16771761.0A EP3276939A4 (en) 2015-03-27 2016-03-25 Image capturing device, image capturing system, and vehicle

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-067467 2015-03-27
JP2015067467 2015-03-27
JP2015-089762 2015-04-24
JP2015089762 2015-04-24

Publications (1)

Publication Number Publication Date
WO2016157873A1 true WO2016157873A1 (ja) 2016-10-06

Family

ID=57004126

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001768 WO2016157873A1 (ja) 2015-03-27 2016-03-25 撮像装置、撮像システム、および車両

Country Status (4)

Country Link
US (1) US20180069998A1 (ja)
EP (1) EP3276939A4 (ja)
JP (1) JPWO2016157873A1 (ja)
WO (1) WO2016157873A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082653A1 (ja) * 2017-10-25 2019-05-02 富士フイルム株式会社 情報処理装置、撮影装置、撮影システム、情報処理方法、撮影方法、情報処理プログラム、及び撮影プログラム
JP2019081395A (ja) * 2017-10-27 2019-05-30 京セラ株式会社 サイドミラー装置、サイドミラーシステム、および車両

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6632750B1 (ja) * 2019-03-11 2020-01-22 マレリ株式会社 画像表示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050131A (ja) * 1998-08-03 2000-02-18 Sony Corp 撮像表示装置
JP2001177798A (ja) * 1999-12-17 2001-06-29 Minolta Co Ltd 画像処理装置、画像処理システム、画像処理プログラムを記録した記録媒体および画像処理方法
JP2009147977A (ja) * 2009-03-23 2009-07-02 Sony Corp カメラシステムおよび移動体カメラシステム
JP2010288199A (ja) * 2009-06-15 2010-12-24 Aisin Seiki Co Ltd 車載モニタシステム、その車載モニタシステムを用いた駐車支援装置、および車載モニタシステムの色調整方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
JP2008175915A (ja) * 2007-01-16 2008-07-31 Konica Minolta Medical & Graphic Inc 表示画像検査方法、表示画像検査システム及び表示画像検査プログラム
JP2011044965A (ja) * 2009-08-21 2011-03-03 Samsung Yokohama Research Institute Co Ltd 撮像装置、撮像方法及びコンピュータプログラム
US8964056B2 (en) * 2011-06-30 2015-02-24 Cisco Technology, Inc. Encoder-supervised imaging for video cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050131A (ja) * 1998-08-03 2000-02-18 Sony Corp 撮像表示装置
JP2001177798A (ja) * 1999-12-17 2001-06-29 Minolta Co Ltd 画像処理装置、画像処理システム、画像処理プログラムを記録した記録媒体および画像処理方法
JP2009147977A (ja) * 2009-03-23 2009-07-02 Sony Corp カメラシステムおよび移動体カメラシステム
JP2010288199A (ja) * 2009-06-15 2010-12-24 Aisin Seiki Co Ltd 車載モニタシステム、その車載モニタシステムを用いた駐車支援装置、および車載モニタシステムの色調整方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3276939A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019082653A1 (ja) * 2017-10-25 2019-05-02 富士フイルム株式会社 情報処理装置、撮影装置、撮影システム、情報処理方法、撮影方法、情報処理プログラム、及び撮影プログラム
JPWO2019082653A1 (ja) * 2017-10-25 2020-11-19 富士フイルム株式会社 情報処理装置、撮影装置、撮影システム、情報処理方法、撮影方法、情報処理プログラム、及び撮影プログラム
US11159775B2 (en) 2017-10-25 2021-10-26 Fujifilm Corporation Information processing apparatus, imaging apparatus, imaging system, information processing method, imaging method, information processing program, and imaging program
JP2019081395A (ja) * 2017-10-27 2019-05-30 京セラ株式会社 サイドミラー装置、サイドミラーシステム、および車両

Also Published As

Publication number Publication date
JPWO2016157873A1 (ja) 2017-08-24
EP3276939A1 (en) 2018-01-31
US20180069998A1 (en) 2018-03-08
EP3276939A4 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
US10110820B2 (en) Imaging device, imaging system, and imaging method
US9681056B2 (en) Imaging system, display system, and optical device including plurality of optical systems that have a plurality of optical axes
JP6319340B2 (ja) 動画撮像装置
JP2006245793A (ja) 撮像システム
JP2007282158A (ja) 撮像装置
US11146728B2 (en) Vehicle and method of controlling the same
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP2010283567A (ja) 撮像装置及び車両周囲画像提供装置
WO2016157873A1 (ja) 撮像装置、撮像システム、および車両
CN100559838C (zh) 图像摄取设备及图像摄取方法
JP5505764B2 (ja) 車載カメラ装置のキャリブレーション支援方法及びキャリブレーション支援装置、並びに車載カメラ装置
US8970735B2 (en) Capturing device, capturing system, and capturing method
JP4791222B2 (ja) 表示制御装置
WO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
US9263001B2 (en) Display control device
JP2007266703A5 (ja)
JP6980450B2 (ja) 制御装置、制御方法、及びプログラム
JP2022188888A (ja) 画像処理装置および画像処理方法
WO2015098107A1 (ja) 画像処理装置、警報装置、および画像処理方法
JP2017183880A (ja) 電子ミラーの電気回路
JP6413830B2 (ja) 車載カメラ
JP2018207254A (ja) 撮像装置、制御方法、プログラム及び撮像システム
JP6142005B2 (ja) 撮像装置、カメラシステム、および信号出力方法
JP2024106871A (ja) 画像処理システム、移動体、画像処理方法、およびコンピュータプログラム
JP2023161848A (ja) 画像処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771761

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017509286

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2016771761

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15561600

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE