WO2022158080A1 - 電子ミラーシステム、撮像装置、及び電子ミラー - Google Patents

電子ミラーシステム、撮像装置、及び電子ミラー Download PDF

Info

Publication number
WO2022158080A1
WO2022158080A1 PCT/JP2021/040309 JP2021040309W WO2022158080A1 WO 2022158080 A1 WO2022158080 A1 WO 2022158080A1 JP 2021040309 W JP2021040309 W JP 2021040309W WO 2022158080 A1 WO2022158080 A1 WO 2022158080A1
Authority
WO
WIPO (PCT)
Prior art keywords
failure
electronic mirror
imaging device
controller
signal
Prior art date
Application number
PCT/JP2021/040309
Other languages
English (en)
French (fr)
Inventor
康孝 松本
吉志昌 新保
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Publication of WO2022158080A1 publication Critical patent/WO2022158080A1/ja
Priority to US18/306,741 priority Critical patent/US20230269366A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/187Machine fault alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/137Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/15Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on an electrochromic effect
    • G02F1/163Operation of electrochromic cells, e.g. electrodeposition cells; Circuit arrangements therefor

Definitions

  • the present invention relates to an electronic mirror system, an imaging device, and an electronic mirror.
  • the present disclosure provides an electronic mirror system, an imaging device, and an electronic mirror that can easily improve convenience.
  • An electronic mirror system has an imaging device and an electronic mirror.
  • An imaging device acquires an image.
  • the electronic mirror can display an image captured by the imaging device.
  • the imaging device has a detection unit and a notification unit.
  • the detector detects a failure.
  • the notification unit notifies the electronic mirror of the detected failure.
  • the electronic mirror has a notification unit.
  • the reporting unit reports information about the reported failure.
  • FIG. 1 is a diagram showing a vehicle equipped with an electronic mirror system according to a first embodiment
  • FIG. 1 is a diagram showing the configuration of an electronic mirror system according to a first embodiment
  • FIG. 1 is a diagram showing the configuration of an imaging device according to a first embodiment
  • FIG. 4A and 4B are diagrams showing types of failures detected by the imaging device according to the first embodiment
  • FIG. FIG. 2 is a diagram showing the configuration of an electronic mirror according to the first embodiment
  • the figure which shows the switching of the display mode and mirror mode in 2nd Embodiment. 8 is a flowchart showing the operation of the electronic mirror system according to the second embodiment
  • FIG. 1 is a diagram showing the configuration of an electronic mirror system according to a first embodiment
  • FIG. 1 is a diagram showing the configuration of an imaging device according to a first embodiment
  • FIG. 4A and 4B are diagrams showing types of failures detected by the imaging device according to the first embodiment
  • FIG. FIG. 2 is a diagram showing the configuration of an electronic mirror according to the
  • 11 is a diagram showing switching between a display mode and a mirror mode in the third embodiment; 10 is a flow chart showing the operation of the electronic mirror system according to the fourth embodiment; 12 is a flow chart showing the operation of the electronic mirror system according to the fifth embodiment; The figure which shows the vehicle by which the electronic mirror system concerning 6th Embodiment is mounted. The figure which shows the structure of the electronic mirror system concerning 6th Embodiment. The figure which shows the structure of the electronic mirror in 6th Embodiment. 10 is a flow chart showing the operation of the electronic mirror system according to the sixth embodiment; 14 is a flow chart showing the operation of the electronic mirror system according to the seventh embodiment;
  • the electronic mirror system includes an imaging device (in-vehicle camera) mounted on a vehicle, and can be used for driving assistance of the vehicle.
  • Driving support imaging devices detect objects such as vehicles, pedestrians, and obstacles through image processing by an internal ISP (Image Signal Processor), warn the driver, and force the vehicle to stop. It plays a major role in vehicle driving support systems such as
  • a vehicle may be equipped with an electronic mirror along with an imaging device, and an electronic mirror system including the imaging device and the electronic mirror may be configured.
  • the electronic mirror displays an image of the surroundings of the vehicle captured by an imaging device instead of a mirror for visually recognizing the surroundings of the vehicle (for example, the rear of the vehicle).
  • the imaging device may malfunction and the image around the vehicle may not be displayed properly on the electronic mirror.
  • it is difficult to discover a failure of the imaging device unless the detailed inspection is performed by the user at the request of the vendor. .
  • the failure of the imaging device may be left unattended after the failure of the imaging device occurs.
  • the electronic mirror system may not operate properly and its convenience may be impaired.
  • the image pickup device detects a failure of the image pickup device and notifies the electronic mirror of the failure, and the electronic mirror notifies the user of a failure signal regarding the notified failure. to improve the quality of life.
  • the electronic mirror system is mounted on a vehicle and has an imaging device and an electronic mirror.
  • the imaging device has an image sensor and a signal processor.
  • An imaging device acquires an image with an image sensor, processes a signal corresponding to the acquired image with a signal processor (ISP), and outputs the processed signal to an electronic mirror.
  • the electronic mirror can display an image acquired by the imaging device on the display unit.
  • the imaging device detects failure of the image sensor and/or signal processor and retains information about the detected failure.
  • the imaging device notifies the electronic mirror of the failure in response to a request from the electronic mirror or autonomously.
  • the electronic mirror notifies information about the failure of the imaging device according to the notified failure.
  • the electronic mirror may notify the information regarding the failure of the imaging device by sound and/or display.
  • the user can be prompted to deal with the failure of the imaging device, and for example, the user can ask a specialist to repair the imaging device.
  • it is possible to reduce the number of failures left unattended in the imaging device, and it is possible to restore the electronic mirror system to a state of proper operation, thereby improving the convenience of the electronic mirror system.
  • FIG. 1 is a diagram showing a vehicle 5 on which an electronic mirror system 3 is mounted.
  • the electronic mirror system 3 has an imaging device 1 and an electronic mirror 2 .
  • the imaging device 1 is an in-vehicle camera mounted on the vehicle 5 and installed outside or inside the vehicle body 6 .
  • the imaging device 1 may be installed at the rear end of the vehicle body 6 and applied to the rear electronic mirror, or may be installed at the edge near the door of the vehicle body 6 and applied to the side electronic mirror. Alternatively, it may be applied to a front electronic mirror installed at the front end of the vehicle body 6 .
  • the electronic mirror 2 is arranged inside the vehicle compartment 7 .
  • the electronic mirror 2 has a display 27 on the surface facing the vehicle interior 7 , and can display an image acquired by the imaging device 1 on the display 27 .
  • the electronic mirror 2 is a rear electronic mirror, it may be implemented in the form of a room mirror, and the shape of the display 27 may be the shape of the mirror surface of the room mirror.
  • the electronic mirror 2 is a side electronic mirror, it may be implemented in the form of a door mirror (for example, the door mirror 61), and the shape of the display 27 may be the shape of the mirror surface of the door mirror.
  • the electronic mirror 2 is a front electronic mirror, it may be mounted in the form of a vehicle-mounted display device (for example, the display device 71), and the shape of the display 27 may be the shape of the display portion of the display device. good.
  • FIG. 1 illustrates a configuration in which the imaging device 1 is installed at the rear end 6a of the vehicle body 6, and the electronic mirror 2 is applied to the rear electronic mirror.
  • a rear electronic mirror is also called an electronic rearview mirror.
  • the imaging device 1 acquires an image of the rear of the vehicle body.
  • the electronic mirror 2 can display an image of the rear of the vehicle captured by the imaging device 1 .
  • FIG. 2 is a diagram showing the configuration of the electronic mirror system 3.
  • the communication medium 8 may be a communication cable such as a serial cable, or a wireless communication line such as Bluetooth (registered trademark).
  • FIG. 2 illustrates a configuration in which the communication medium 8 is a communication cable, and one end of the communication medium 8 is connected to the I/F section 13 of the imaging device 1 and the other end is connected to the I/F section 21 of the electronic mirror 2. be done.
  • the imaging device 1 captures an image of the surroundings of the vehicle body 6 and supplies the acquired image to the electronic mirror 2 via the communication medium 8 .
  • the electronic mirror 2 may receive an image captured by the imaging device 1 and display the received image on the display 27 as it is, or may cut out a partial image from the received image and display it on the display 27. good.
  • FIG. 2 illustrates a configuration in which the display 27 of the electronic mirror 2 displays a partial image cut out in the shape of the mirror surface of the rear-view mirror from the image captured by the imaging device 1 .
  • the housing of the electronic mirror 2 may be fixed to the inside of the roof portion 6b of the vehicle body 6 in a state in which the posture of the housing 28c is variable.
  • the housing 28c of the electronic mirror 2 may be fixed to the roof portion 6b of the vehicle body 6 via the rotating portion 28a and the support portion 28b.
  • the electronic mirror 2 may finely adjust the position of the partial image to be cut out from the whole image, cut it out, and display it on the display 27 in accordance with the change in the posture of the housing 28c.
  • the electronic mirror 2 can display an image of the surroundings of the vehicle captured by the imaging device 1 according to the attitude of the housing 28c, and can operate as a substitute for the mirror.
  • the imaging device 1 has an image sensor 11, a signal processor (ISP: Image Signal Processor) 12, and an interface (I/F) section 13, as shown in FIG.
  • FIG. 3 is a diagram showing the configuration of the imaging device 1.
  • the image sensor 11 has terminals 11a to 11c.
  • the signal processor 12 has terminals 12a-12f.
  • the interface section 13 has terminals 13a to 13d.
  • the image sensor 11 acquires an image around the vehicle 5 (for example, behind the vehicle 5), generates a plurality of pixel signals according to the acquired image, and supplies the plurality of pixel signals to the signal processor 12. At the same time, the image sensor 11 detects failure of the image sensor 11 and holds information about the detected failure. The image sensor 11 notifies the electronic mirror 2 of the failure of the image sensor 11 via the signal processor 12 and the interface unit 13 in response to a request from the electronic mirror 2 or autonomously.
  • the image sensor 11 has a pixel section 111 , an interface (I/F) 112 , a drive control section 113 and a failure detection section 114 .
  • a plurality of pixels are arranged in a plurality of rows and a plurality of columns, and a plurality of AD converters (a plurality of ADCs) are arranged corresponding to the plurality of columns.
  • the pixel unit 111 performs a charge accumulation operation in a plurality of pixels according to a subject image (image) formed on the imaging surface, and AD-converts the accumulated signals of the plurality of pixels for each column by an AD converter, A plurality of pixel signals are generated.
  • the drive control unit 113 has a vertical scanning circuit and a horizontal scanning circuit.
  • the vertical scanning circuit scans a plurality of pixels in the vertical direction according to a vertical drive signal (VD), and drives control such as charge accumulation operations of the plurality of pixels row by row.
  • the horizontal scanning circuit scans a plurality of pixels in the horizontal direction according to a horizontal drive signal (HD), and drives readout and AD conversion of pixel signals from the plurality of pixels on a column-by-column basis.
  • the interface 112 exchanges communication control information with the signal processor 12 via terminals 11b and 12b to establish communication with the signal processor 12.
  • the interface 112 may establish communication with the signal processor 12 according to the SPI (Serial Peripheral Interface) method.
  • the interface 112 transmits a plurality of pixel signals output from the pixel unit 111 as one frame image to the signal processor 12 via the terminals 11a and 12a.
  • the interface 112 can transmit a plurality of time-continuous frames of images as video signals to the signal processor 12 via the terminals 11a and 12a.
  • the failure detection unit 114 detects failure of the image sensor 11 .
  • the failure detection unit 114 may periodically detect failure of the image sensor 11 , may detect failure of the image sensor 11 in response to a request from the electronic mirror 2 , or may detect failure of the image sensor 11 in response to a request from the electronic mirror 2 . Failure of the image sensor 11 may be detected in response to a request from a controlling ECU (not shown).
  • the failure detection unit 114 has a register 114a, and holds information on the detected failure in the register 114a. As shown in FIG. 4, the failure detection unit 114 further detects the type of failure of the image sensor 11, specifies a failure mode according to the detected failure type, and stores information indicating the failure mode in the register 114a. do.
  • FIG. 4 is a diagram showing types of failures detected by the imaging device 1. As shown in FIG.
  • failure identifiers FM1, FM2, FM6, FM7, FM8, FM13, FM14, and FM15 correspond to failure modes "frame rate drop”, “video transmission delay error”, “sensitivity error”, “dynamic range error”, “linearity error”, and “display error”, respectively. It corresponds to misalignment, image fixation, and horizontal reversal abnormality.
  • Fault identifiers FM1, FM2, FM6, FM7, FM8, FM13, FM14 and FM15 correspond to addresses AD101, AD102, AD106, AD107, AD108, AD113, AD114 and AD115 in register 114a, respectively.
  • the failure mode “decrease in frame rate” is a failure in which the frame rate of the video signal displayed on the display 27 of the electronic mirror 2 drops below a threshold, and a phenomenon in which temporal changes in the video displayed on the display 27 are not smooth. indicates
  • the failure mode “video transmission delay abnormality” is a failure in which the transmission delay of the video signal in the imaging device 1 exceeds a threshold and indicates a phenomenon in which the display 27 displays a temporally past image.
  • the failure mode “sensitivity abnormality” is a failure in which the sensitivity of imaging by the imaging device 1 is out of the allowable range.
  • the failure mode “abnormal dynamic range” is a failure in which the dynamic range of the signal from the imaging device 1 becomes smaller below the threshold.
  • Linearity abnormality is a failure in which the linearity of imaging by the imaging device 1 becomes smaller than the threshold.
  • Display position deviation is a failure in which the position of the subject in the image acquired by the imaging device 1 is shifted from the actual position.
  • Image sticking is a failure in which an image acquired by the imaging device 1 sticks and hardly changes.
  • the “horizontal reversal abnormality” is a malfunction in which the subject in the image acquired by the imaging device 1 is horizontally reversed from its actual state.
  • the failure detection unit 114 has a VD counter, frame counter, and internal clock monitor.
  • the VD counter counts the time interval between the vertical drive signal (VD) and the next vertical drive signal (VD).
  • the failure detection unit 114 can obtain the time length of one frame period from the count value of the VD counter.
  • a frame counter counts the number of frame synchronization signals.
  • the failure detection unit 114 can obtain the frame rate by dividing the counted time by the count value of the frame counter.
  • the internal clock monitor counts the number of internal clocks used for signal transmission by the interface 112 . Failure detection unit 114 obtains the period of the internal clock by dividing the counted time by the count value of the internal clock monitor. can be obtained.
  • the failure detection unit 114 compares the frame rate with the threshold THfr according to the obtained temporal length of one frame period or the frame rate. If the frame rate is lower than the threshold THfr, the failure detection unit 114 stores the failure identifier FM1 in the address AD101 of the register 114a, assuming that "frame rate drop" has occurred. If the frame rate is equal to or higher than the threshold value THfr, the failure detection unit 114 sets the address AD101 of the register 114a to NULL, assuming that the "decrease in frame rate" has not occurred.
  • the failure detection unit 114 compares the signal transmission rate with the threshold THtr1 and the threshold THtr2 according to the obtained signal transmission rate.
  • the two thresholds THtr1 and THtr2 are 0 ⁇ THtr1 ⁇ THtr2 shall be in the relationship of If the transmission rate of the signal is greater than or equal to the threshold THtr1 and less than the threshold THtr2, the failure detection unit 114 assumes that "video transmission delay abnormality" has occurred and "image fixation" has not occurred.
  • the failure identifier FM2 is stored and the address AD114 is set to NULL.
  • the failure detection unit 114 determines that "video transmission delay abnormality" has occurred and "image fixation” has occurred, and sets the failure identifier FM2 to the address AD102 of the register 114a.
  • the failure identifier FM14 is stored in the address AD114. If it is equal to or greater than the threshold THtr2, the failure detection unit 114 sets the address AD102 and the address AD114 of the register 114a to NULL, assuming that neither "video transmission delay abnormality" nor "image fixation" has occurred.
  • the failure detection unit 114 can execute an ADC loopback test. In the ADC loopback test, for each of the multiple columns of AD converters, it is tested whether AD conversion is properly performed by, for example, DA converting the output of the AD converter and looping it back to the input.
  • the failure detection unit 114 can obtain the sensitivity of the AD converter according to the ratio of the output level to the input level of the AD converter.
  • the failure detection unit 114 can obtain the dynamic range of AD conversion according to the input level range in which the output changes with respect to the input.
  • the failure detection unit 114 can obtain the linearity of AD conversion according to the change rate of the output when the input is changed linearly.
  • the failure detection unit 114 compares the sensitivity of AD conversion with the threshold value THsn according to the obtained sensitivity of AD conversion. If the AD conversion sensitivity is lower than the threshold value THsn, the failure detection unit 114 determines that "sensitivity abnormality" has occurred and stores the failure identifier FM6 in the address AD106 of the register 114a. If the frame rate is equal to or higher than the threshold value THsn, the failure detection unit 114 sets the address AD106 of the register 114a to NULL, assuming that "sensitivity abnormality" has not occurred.
  • the failure detection unit 114 compares the dynamic range of AD conversion with the threshold value THdr according to the obtained dynamic range of AD conversion. If the dynamic range of AD conversion is lower than the threshold value THdr, the failure detection unit 114 stores the failure identifier FM7 in the address AD107 of the register 114a assuming that "dynamic range abnormality" has occurred. If the dynamic range of AD conversion is equal to or greater than the threshold value THdr, the failure detection unit 114 sets the address AD107 of the register 114a to NULL state assuming that "dynamic range abnormality" does not occur.
  • the failure detection unit 114 compares the linearity of AD conversion with the threshold value THln according to the obtained linearity of AD conversion. If the linearity of AD conversion is lower than the threshold value THln, the failure detection unit 114 stores the failure identifier FM8 in the address AD108 of the register 114a assuming that "linearity abnormality" has occurred. If the linearity of AD conversion is equal to or greater than the threshold value THln, the failure detection unit 114 sets the address AD108 of the register 114a to NULL state assuming that "linearity abnormality" has not occurred.
  • the failure detection unit 114 has a BIST (Built-In Self Test) circuit and an address pattern monitor.
  • the BIST circuit inputs a test pattern to the vertical scanning circuit, compares the output of the vertical scanning circuit with an expected value, and obtains the deviation of the output of the vertical scanning circuit from the expected value.
  • the address pattern monitor obtains an address pattern for vertically scanning a plurality of pixels from the vertical scanning circuit, compares the obtained address pattern with an appropriate address pattern, and obtains a vertical deviation of the address pattern. .
  • the failure detection unit 114 estimates the deviation of the display position of the image according to the obtained deviation from the expected value of the output of the vertical scanning circuit and the deviation of the address pattern in the vertical direction, and compares the estimated deviation with the threshold value THad. Compare with If the estimated displacement exceeds the threshold value THad, the failure detection unit 114 stores the failure identifier FM13 in the address AD113 of the register 114a assuming that "display position displacement" has occurred. If the estimated deviation is equal to or less than the threshold value THad, the failure detection unit 114 sets the address AD113 of the register 114a to NULL, assuming that "display position deviation" has not occurred.
  • the failure detection unit 114 has a checker pattern monitor.
  • the checker pattern monitor supplies pixel signals having pixel values corresponding to the checker pattern to a plurality of signal lines, and monitors pixel values of signals output from the pixel unit 111 by horizontal scanning of the horizontal scanning circuit.
  • the failure detection unit 114 compares the pixel value corresponding to the checker pattern with the monitored pixel value according to the monitored pixel value. If the pixel value corresponding to the checkered pattern and the monitored pixel value are reversed, the fault detection unit 114 determines that "horizontal reversal abnormality" has occurred and stores the fault identifier FM15 in the address AD115 of the register 114a. . If the estimated deviation is equal to or less than the threshold value THad, the failure detection unit 114 sets the address AD115 of the register 114a to NULL, assuming that "display position deviation" has not occurred.
  • the failure detection unit 114 In response to a request from the electronic mirror 2 or autonomously, the failure detection unit 114 detects whether or not there is a failure stored in the register 114a via the terminal 11c, the signal processor 12, the interface unit 13, and the communication medium 8. to notify. For example, when a failure notification request including address AD101 is received from electronic mirror 2 via communication medium 8, interface unit 13, signal processor 12, and terminal 11c, failure detection unit 114 refers to address AD101 in register 114a. If the failure identifier FM1 is stored, the failure detection unit 114 returns a failure signal having a value indicating the failure identifier FM1 to the electronic mirror 2 via the terminal 11c, the signal processor 12, the interface unit 13, and the communication medium 8.
  • a failure signal with a value indicating NULL is returned to the electronic mirror 2 via the terminal 11c, the signal processor 12, the interface section 13, and the communication medium 8.
  • FIG. 1 the electronic mirror 2 can recognize whether or not the failure mode "frame rate drop" for the failure identifier FM1 has occurred by referring to the response to the failure notification request.
  • the signal processor 12 receives a plurality of pixel signals corresponding to an image from the image sensor 11 and performs predetermined signal processing on the plurality of pixel signals. Along with that, the signal processor 12 detects failures of the signal processor 12 and retains information about the detected failures. The signal processor 12 notifies the electronic mirror 2 of the failure via the interface unit 13 in response to a request from the electronic mirror 2 or autonomously.
  • the signal processor 12 has a signal processing section 121 , an interface (I/F) 122 and a failure detection section 123 .
  • the signal processing unit 121 has an AD converter and an address processing circuit, and uses the AD converter and the address processing circuit to perform predetermined signal processing on a plurality of pixel signals.
  • the predetermined signal processing includes processing for adjusting the dynamic range of the signal and NR correction processing for reducing noise contained in the signal.
  • the predetermined signal processing is a YC signal that generates a YC signal including a luminance component (Y) and a chromaticity component (C) from the pixel signal. Signal processing may also be included.
  • the interface 122 exchanges communication control information with the interface section 13 via terminals 12e and 13b, and establishes communication with the interface section 13.
  • the interface 122 may establish communication with the interface unit 13 according to the I2C (Inter-Integrated Circuit) method.
  • the interface 122 transmits the plurality of pixel signals output from the signal processing unit 121 as one frame image to the interface unit 13 via the terminals 12d and 13a.
  • the interface 122 can transmit images of a plurality of time-continuous frames as video signals to the interface unit 13 via the terminals 12d and 13a.
  • the failure detection unit 123 detects failure of the signal processor 12 .
  • the failure detection unit 123 may periodically detect a failure of the signal processor 12, may detect a failure of the signal processor 12 in response to a request from the electronic mirror 2, or may detect a failure of the signal processor 12 in response to a request from the electronic mirror 2. Failure of the signal processor 12 may be detected in response to a request from a controlling ECU (not shown).
  • the failure detection unit 123 has a register 123a, and holds information on the detected failure in the register 123a. As shown in FIG. 4, the failure detector 123 further detects the type of failure of the signal processor 12, identifies a failure mode according to the type of failure, and stores information indicating the failure mode in the register 123a.
  • Failure identifiers FM1, FM2, FM6, FM7, FM8, FM13, FM14, and FM15 correspond to failure modes “frame rate drop”, “video transmission delay error”, “sensitivity error”, “dynamic range error”, “linearity error”, and “display error”, respectively. It corresponds to misalignment, image fixation, and horizontal reversal abnormality.
  • Fault identifiers FM1, FM2, FM6, FM7, FM8, FM13, FM14 and FM15 correspond to addresses AD201, AD202, AD206, AD207, AD208, AD213, AD214 and AD215 in register 123a, respectively.
  • the failure detection unit 123 has a VD counter, frame counter, and internal clock monitor.
  • the VD counter extracts the vertical driving signal (VD) from the signal processed by the signal processing unit 121 and counts the time interval between the vertical driving signal (VD) and the next vertical driving signal (VD).
  • the failure detection unit 123 can obtain the time length of one frame period from the count value of the VD counter.
  • the frame counter extracts frame synchronization signals from the signal processed by the signal processor 121 and counts the number of frame synchronization signals.
  • the failure detection unit 123 can obtain the frame rate by dividing the counted time by the count value of the frame counter.
  • the internal clock monitor counts the number of internal clocks used for signal transmission by the interface 122 .
  • the failure detection unit 123 obtains the period of the internal clock by dividing the counted time by the count value of the internal clock monitor. can be obtained.
  • the failure detection unit 123 compares the frame rate and the threshold THfr according to the obtained temporal length of one frame period or the frame rate. If the frame rate is lower than the threshold THfr, the failure detection unit 123 stores the failure identifier FM1 in the address AD201 of the register 123a assuming that "frame rate drop" has occurred. If the frame rate is equal to or higher than the threshold value THfr, the failure detection unit 123 sets the address AD201 of the register 123a to NULL, assuming that "frame rate reduction" has not occurred.
  • the failure detection unit 123 compares the signal transmission rate with the threshold THtr1 and the threshold THtr2 according to the obtained signal transmission rate.
  • the two thresholds THtr1 and THtr2 are 0 ⁇ THtr1 ⁇ THtr2 shall be in the relationship of If the transmission rate of the signal is greater than or equal to the threshold THtr1 and less than the threshold THtr2, the failure detection unit 123 assumes that "video transmission delay abnormality" has occurred and "image fixation" has not occurred.
  • the failure identifier FM2 is stored and the address AD214 is set to NULL.
  • the failure detection unit 123 sets the address AD202 of the register 123a to NULL, assuming that the "video transmission delay abnormality” has not occurred and the “image fixation” has occurred. Then, the failure identifier FM14 is stored in the address AD214. If it is equal to or greater than the threshold THtr2, the failure detection unit 123 sets the address AD202 and the address AD214 of the register 123a to NULL, assuming that neither "video transmission delay abnormality" nor "image fixation" has occurred.
  • the failure detection unit 123 can execute an ADC loopback test.
  • ADC loopback test for the AD converter, it is tested whether the AD conversion is properly performed by, for example, DA converting the output of the AD converter and looping it back to the input.
  • the failure detection unit 123 can obtain the sensitivity of the AD converter according to the ratio of the output level to the input level of the AD converter.
  • the failure detection unit 123 can obtain the dynamic range of AD conversion according to the input level range in which the output changes with respect to the input.
  • the failure detection unit 123 can obtain the linearity of AD conversion according to the change rate of the output when the input is changed linearly.
  • the failure detection unit 123 compares the sensitivity of AD conversion with the threshold value THsn according to the obtained sensitivity of AD conversion. If the AD conversion sensitivity is lower than the threshold THsn, the failure detection unit 123 determines that "sensitivity abnormality" has occurred and stores the failure identifier FM6 in the address AD206 of the register 123a. If the frame rate is equal to or higher than the threshold value THsn, the failure detection unit 123 sets the address AD206 of the register 123a to NULL, assuming that "sensitivity abnormality" has not occurred.
  • the failure detection unit 123 compares the dynamic range of AD conversion with the threshold value THdr according to the obtained dynamic range of AD conversion. If the dynamic range of AD conversion is lower than the threshold value THdr, the failure detection unit 123 stores the failure identifier FM7 in the address AD207 of the register 123a, assuming that "dynamic range abnormality" has occurred. If the dynamic range of AD conversion is equal to or greater than the threshold value THdr, the failure detection unit 123 sets the address AD207 of the register 123a to NULL, assuming that "dynamic range abnormality" does not occur.
  • the failure detection unit 123 compares the linearity of AD conversion with the threshold value THln according to the obtained linearity of AD conversion. If the linearity of AD conversion is lower than the threshold value THln, the failure detection unit 123 stores the failure identifier FM8 in the address AD208 of the register 123a assuming that "linearity abnormality" has occurred. If the linearity of AD conversion is equal to or greater than the threshold value THln, the fault detection unit 123 sets the address AD208 of the register 123a to NULL state assuming that "linearity abnormality" has not occurred.
  • the failure detection unit 123 has a BIST (Built-In Self Test) circuit and an address pattern monitor.
  • the BIST circuit inputs a test pattern to the address processing circuit, compares the output of the address processing circuit with an expected value, and obtains the deviation of the output of the address processing circuit from the expected value.
  • the address pattern monitor obtains an address pattern from the address processing circuit, compares the obtained address pattern with a proper address pattern, and obtains a vertical deviation of the address pattern.
  • the failure detection unit 123 estimates the deviation of the display position of the image according to the calculated deviation from the expected value of the output of the address processing circuit and the deviation of the address pattern in the vertical direction, and compares the estimated deviation with the threshold value THad. Compare with If the estimated displacement exceeds the threshold value THad, the failure detection unit 123 stores the failure identifier FM13 in the address AD213 of the register 123a, assuming that "display position displacement" has occurred. If the estimated deviation is equal to or less than the threshold value THad, the failure detection unit 123 sets the address AD213 of the register 123a to NULL, assuming that "display position deviation" has not occurred.
  • the failure detection unit 123 has a checker pattern monitor.
  • the checkered pattern monitor supplies pixel signals having pixel values corresponding to the checkered pattern to the signal processing section 121, and monitors the pixel values of the signal output from the signal processing section 121 through the address processing of the address processing circuit.
  • the failure detection unit 123 compares the pixel value corresponding to the checkered pattern with the monitored pixel value according to the monitored pixel value. If the pixel value corresponding to the checkered pattern and the monitored pixel value are inverted, the failure detection unit 123 determines that a "horizontal inversion abnormality" has occurred and stores the failure identifier FM15 in the address AD215 of the register 123a. . If the estimated deviation is equal to or less than the threshold value THad, the failure detection unit 123 sets the address AD215 of the register 123a to NULL state assuming that "display position deviation" has not occurred.
  • the failure detection unit 123 notifies the electronic mirror 2 of the presence or absence of a failure stored in the register 123a via the terminal 12f, the interface unit 13, and the communication medium 8 in response to a request from the electronic mirror 2 or autonomously. For example, when a failure notification request including address AD201 is received from electronic mirror 2 via communication medium 8, interface unit 13, and terminal 12f, failure detection unit 123 refers to address AD201 in register 123a. If the failure identifier FM1 is stored, the failure detection unit 123 returns a failure signal having a value indicating the failure identifier FM1 to the electronic mirror 2 via the terminal 12f, the interface unit 13, and the communication medium 8. , NULL is returned to the electronic mirror 2 via the terminal 12 f , the interface unit 13 and the communication medium 8 . As a result, the electronic mirror 2 can recognize whether or not the failure mode “decreased frame rate” for the failure identifier FM1 has occurred by referring to the value of the failure signal.
  • the interface unit 13 notifies the electronic mirror 2 of failures detected by the image sensor 11 and/or the signal processor 12 .
  • the interface section 13 is connected to the electronic mirror 2 via the communication medium 8 .
  • the interface unit 13 establishes communication connection with the electronic mirror 2 via the communication medium 8 under the control of the controller 23 .
  • the interface unit 13 performs an interface operation in communication between the image sensor 11 , the signal processor 12 and the electronic mirror 2 .
  • the interface unit 13 performs format conversion of signals in communication. If the communication medium 8 supports serial communication, the interface section 13 may have a serializer 131 .
  • the serializer 131 converts the video signal received from the image sensor 11 and/or the signal processor 12 via the terminal 13a from the parallel format to the serial format, and transmits the serial format video signal to the electronic mirror 2 via the terminal 13d and the communication medium 8. Send.
  • the serializer 131 converts the communication control information received from the image sensor 11 and/or the signal processor 12 via the terminal 13b from the parallel format to the serial format, and transmits the serial format communication control information to the electronic mirror via the terminal 13d and the communication medium 8. 2.
  • the serializer 131 converts the failure signal received from the image sensor 11 and/or the signal processor 12 via the terminal 13c from the parallel format to the serial format, and transmits the serial format failure signal to the electronic mirror 2 via the terminal 13d and the communication medium 8. Send.
  • the electronic mirror 2 includes an interface (I/F) unit 21, a controller 23, a video processing unit 24, a display 27, a mirror 28, display notification units 29-1 to 29-15, and an audio notification unit 31.
  • FIG. 5 is a diagram showing the configuration of the electronic mirror 2. As shown in FIG.
  • the interface unit 21 is connected to the imaging device 1 via the communication medium 8.
  • the interface section 13 has a connector section 211 , and the imaging device 1 is connected to the connector section 211 via the communication medium 8 .
  • the interface unit 21 performs an interface operation in communication between the imaging device 1 and the controller 23 .
  • the interface unit 21 performs format conversion of signals in communication. If the communication medium 8 supports serial communication, the interface section 13 may have a deserializer 212 .
  • the deserializer 212 converts the video signal transmitted from the imaging device 1 via the communication medium 8 and the connector unit 211 from the serial format to the parallel format, and transmits the parallel format video signal to the video processing unit 24 .
  • the deserializer 212 converts the failure signal received from the imaging device 1 via the communication medium 8 and the connector unit 211 from the serial format to the parallel format, and supplies the parallel format failure signal to the controller 23 .
  • Transmission of the video signal/failure signal from the connector unit 211 to the deserializer 212 may be performed by communication according to the FPD-Link (Flat Panel Display-Link) method.
  • Transmission of the video signal from the deserializer 212 to the video processing unit 24 may be performed by communication according to the MIPI (Mobile Industry Processor Interface) method.
  • the video processing unit 24 converts the video signal transmitted from the deserializer 212 into a video signal for display and supplies it to the display 27 . Thereby, the display 27 displays an image corresponding to the image signal on the screen.
  • the controller 23 Upon receiving the failure signal, the controller 23 identifies the presence or absence of failure and the type of failure indicated by the failure signal. The controller 23 notifies information about the failure by at least one of voice and display depending on the presence or absence of the failure and the type of failure.
  • the controller 23 may cause at least one display notification unit 29 out of the plurality of display notification units 29-1 to 29-15 to notify according to the presence or absence of a failure and the type of failure.
  • Each of the display notification units 29-1 to 29-15 is, for example, an indicator lamp such as an LED (Light Emission Diode).
  • the display notification units 29-1, 29-2, 29-6, 29-7, 29-8, 29-13, 29-14, and 29-15 respectively display failure identifiers FM1, FM2, FM6, FM7, FM8, It corresponds to FM13, FM14 and FM15.
  • the display/notification units 29-1, 29-2, 29-6, 29-7, 29-8, 29-13, 29-14, and 29-15 have failure modes of "frame rate drop” and "image It corresponds to transmission delay anomaly, sensitivity anomaly, dynamic range anomaly, linearity anomaly, display position deviation, image fixation, and horizontal reversal anomaly (see FIG. 4).
  • the controller 23 receives a failure signal indicating the failure identifier FM1
  • the controller 23 selectively lights the display/notification unit 29-1 (see FIG. 2). Accordingly, it is possible to notify the user that the "frame rate drop" has occurred.
  • the controller 23 may cause the voice notification unit 31 to notify according to the presence or absence of a failure and the type of failure.
  • the voice notification unit 31 is, for example, an alarm.
  • the controller 23 receives a failure signal indicating the failure identifier FM1
  • the controller 23 outputs an alarm sound or a warning message sound from the voice notification unit 31 (see FIG. 2). Accordingly, it is possible to notify the user that the "frame rate drop" has occurred.
  • the controller 23 may notify the display 27 according to the presence or absence of failure and the type of failure. For example, when the controller 23 receives a failure signal indicating the failure identifier FM1, the controller 23 displays a warning message on the screen of the display 27 (see FIG. 2). Accordingly, it is possible to notify the user that the "frame rate drop" has occurred.
  • the imaging device 1 detects a failure of the imaging device 1 and notifies the electronic mirror 2 of the failure, and the electronic mirror 2 sends a failure signal regarding the notified failure. Notify the user. As a result, the user can be urged to deal with the failure of the imaging device 1, and the electronic mirror system 3 can be returned to a state of proper operation, so that the convenience of the electronic mirror system 3 can be improved.
  • FIG. 3 illustrates a configuration in which the failure detection units 114 and 123 are implemented by hardware in the image sensor 11 and the signal processor 12, respectively. , may be implemented in software within the signal processor 12 .
  • a controller, ROM, and RAM may be installed in the image sensor 11 and the signal processor 12, respectively.
  • a failure detection program is stored in the ROM, and the controller reads out the failure detection program from the ROM in response to the startup of the imaging device 1, etc., and stores the failure detection program in the RAM.
  • the failure detection units 114 and 123 may be deployed.
  • the electronic mirror system 3 is configured to be able to switch the operation of the electronic mirror 2 in response to detection of a failure in the imaging device 1, thereby further improving convenience.
  • the electronic mirror 2 switches between the display mode and the mirror mode according to the failure notified from the imaging device 1 .
  • the display mode is a mode in which the electronic mirror 2 functions as a display that displays an image captured by the imaging device 1 .
  • the mirror mode is a mode in which the electronic mirror 2 functions as a mirror.
  • the electronic mirror 2 may further include a driving interface (driving I/F) 25 and a driving section 26 as shown in FIG. 5 as a configuration for switching between display mode and mirror mode.
  • the rotating portion 28 a (see FIG. 2) has a motor and can be driven by the driving portion 26 .
  • the driving interface 25 Upon receiving an instruction from the controller 23 to switch from the display mode to the mirror mode, the driving interface 25 generates a rotation instruction and supplies it to the driving section 26 according to the instruction.
  • the driving unit 26 rotates the motor of the rotating unit 28a according to the rotation command so as to change the posture of the housing 28c from the posture shown in FIG. 6(a) to the posture shown in FIG. 6(b).
  • 6A and 6B are diagrams showing switching between the display mode and the mirror mode, where FIG. 6A shows the display mode and FIG. 6B shows the mirror mode.
  • the normal line of the reflective surface of the reflective layer 28f supported by the housing 28c is adjusted to face upward from the horizontal plane. It is difficult for the light from OB to reach the user's viewpoint position EY. Further, the controller 23 turns on the switch SW1 connecting the display 27 and the power source PS1, and the display 27 operates to display an image on the screen. The display image of the display 27 can easily reach the user's viewpoint position EY. Thereby, the electronic mirror 2 functions as a display that displays the image captured by the imaging device 1 .
  • the reflective layer 28f supported by the housing 28c has a front surface covered with an EC material (ElectroChromic material) 28e and a rear surface covered with a glass 28g. The front surface of the EC material 28e is covered with glass 28d.
  • EC material ElectroChromic material
  • the normal line of the reflecting surface of the reflecting layer 28f supported by the housing 28c is adjusted to face a substantially horizontal plane.
  • the light from the point of view easily reaches the user's viewpoint position EY.
  • the controller 23 has turned off the switch SW1, the display 27 is stopped and no image is displayed on the screen. Thereby, the electronic mirror 2 functions as a mirror.
  • FIG. 7 is a flow chart showing the operation of the electronic mirror system 3. As shown in FIG.
  • the imaging device 1 when the imaging device 1 detects a failure (S1), it notifies the electronic mirror 2 of the failure.
  • the imaging device 1 may detect the type of failure in addition to the presence or absence of a failure, generate a failure signal indicating the type of failure, and notify the electronic mirror 2 of the failure signal.
  • the imaging device 1 may notify the electronic mirror 2 of a plurality of failure signals.
  • the controller 23 when notified of a failure, the controller 23 identifies the presence and type of failure (S2). Upon receiving the failure signal, the controller 23 identifies the presence or absence of failure indicated by the failure signal and the type of failure. The controller 23 determines whether to switch from the display mode to the mirror mode according to the presence or absence of failure and the type of failure (S3). The controller 23 may determine whether or not to switch from the display mode to the mirror mode according to the presence or absence of a failure and the type of failure indicated by a plurality of failure signals.
  • the controller 23 determines that the failure mode "decreased frame rate" has occurred, but that this failure is a failure that allows the display mode to continue. do.
  • the controller 23 determines that the failure mode "video transmission abnormality" has occurred and that this failure is a failure that should not continue the display mode.
  • the controller 23 determines that the failure mode "sensitivity abnormality" has occurred and that this failure should not continue the display mode.
  • the controller 23 determines that the failure mode "dynamic range abnormality" has occurred and that this failure should not continue the display mode.
  • the controller 23 determines that the failure mode "linearity abnormality" has occurred and that this failure should not continue the display mode.
  • the controller 23 determines that the failure mode "display position deviation" has occurred and that this failure should not continue the display mode.
  • the controller 23 determines that the failure mode "image sticking" has occurred and that this failure should not continue the display mode.
  • the controller 23 determines that the failure mode "horizontal reversal abnormality" has occurred and that this failure should not continue the display mode.
  • the controller 23 determines that the display mode should be switched if the failures indicated by the multiple failure signals include failures that should not continue the display mode. The controller 23 determines that switching should not be performed if the failure indicated by the multiple failure signals is a failure that allows the display mode to continue or is NULL (no failure). If all failure signals indicate NULL, the controller 23 determines that no failure has occurred and that switching should not be performed.
  • the controller 23 should not switch (No in S3), the display mode is continued as the operation mode of the electronic mirror 2 (S4), and information about the failure is notified by at least one of display and sound (S5).
  • controller 23 If the controller 23 should switch (Yes in S3), it switches the operating mode of the electronic mirror 2 from the display mode to the mirror mode (S6). That is, controller 23 instructs driving interface 25 to switch from display mode to mirror mode.
  • the driving interface 25 Upon receiving an instruction from the controller 23 to switch from the display mode to the mirror mode, the driving interface 25 generates a rotation instruction and supplies it to the driving section 26 according to the instruction.
  • the driving unit 26 rotates the motor of the rotating unit 28a according to the rotation command so as to change the posture of the housing 28c from the posture shown in FIG. 6(a) to the posture shown in FIG. 6(b). Then, the controller 23 notifies information about the failure by at least one of display and sound (S7).
  • the electronic mirror system 3 can switch the operation of the electronic mirror 2 from the display mode to the mirror mode in response to detection of a failure in the imaging device 1. Thereby, the convenience of the electronic mirror system 3 can be further improved.
  • switching between the display mode and the mirror mode is realized by mechanical switching operation, but in the third embodiment, it is realized by electrical switching operation.
  • the mirror 28 in the electronic mirror 2 has a transmittance variable layer 28f' instead of the reflective layer 28f.
  • the variable transmittance layer 28f' has a structure in which a deflection layer and a liquid crystal material layer are laminated.
  • the variable transmittance layer 28f′ when no voltage is applied across the liquid crystal material layer, the polarization direction of the liquid crystal material and the polarization direction of the polarizing layer are substantially the same, and the light transmittance is high and the reflectance is low. Become.
  • the transmittance variable layer 28f' when a voltage is applied across the liquid crystal material layer, the polarization direction of the liquid crystal material is changed to be different from the polarization direction of the polarizing layer, resulting in a state of low light transmittance and high reflectance. Become.
  • the electronic mirror 2 may further include a driving interface (driving I/F) 25 and a driving section 26 as shown in FIG. 5 as a configuration for switching between display mode and mirror mode.
  • driving I/F driving interface
  • the drive interface 25 Upon receiving an instruction to switch from the display mode to the mirror mode from the controller 23 , the drive interface 25 generates an operation command according to the instruction and supplies it to the drive section 26 .
  • the drive unit 26 changes the transmittance of the mirror 28 from the state of high light transmittance shown in FIG. 8(a) to the state of low light transmittance shown in FIG. 8(b).
  • Drive layer 28f'. 8A and 8B are diagrams showing switching between the display mode and the mirror mode, where FIG. 8A shows the display mode and FIG. 8B shows the mirror mode.
  • the driving unit 26 turns off the switch SW2 that connects the transmittance variable layer 28f' and the power source PS2, and the transmittance variable layer 28f' is in a state of high transmittance and low reflectance. As indicated by the dashed arrow in a), the light from the object OB behind the vehicle body 6 is less likely to reach the user's viewpoint position EY. Further, the controller 23 turns on the switch SW1 that connects the display 27 and the power source PS1, and the display 27 operates to display an image on the screen. The display image of the display 27 can easily reach the user's viewpoint position EY. Thereby, the electronic mirror 2 functions as a display that displays the image captured by the imaging device 1 .
  • the drive unit 26 turns on the switch SW2 that connects the transmittance variable layer 28f' and the power source PS2, and the transmittance variable layer 28f' is in a state of low transmittance and high reflectance.
  • the light from the object OB behind the vehicle body 6 easily reaches the user's viewpoint position EY.
  • the controller 23 has turned off the switch SW1, the display 27 is stopped and no image is displayed on the screen. Thereby, the electronic mirror 2 functions as a mirror.
  • the electronic mirror system 3 can switch the electronic mirror 2 from the display mode to the mirror mode by electrical operation in response to detection of a failure in the imaging device 1. be. This also makes it possible to further improve the convenience of the electronic mirror system 3 .
  • switching from the display mode to the mirror mode is performed according to the presence or absence and type of failure of the imaging device 1, but in the fourth embodiment, it is further performed according to the level of failure.
  • FIG. 9 is a flow chart showing the operation of the electronic mirror system 3. As shown in FIG.
  • the imaging device 1 detects the presence or absence of a failure, the type of failure, and the level of the failure in failure detection ( S ⁇ b>1 ), generates a failure signal indicating the type of failure, and may be notified to
  • the fault detection unit 114 compares the frame rate with a plurality of thresholds THfr1 and THfr2 according to the obtained temporal length of one frame period or the frame rate.
  • the plurality of thresholds THfr1 and THfr2 are 0 ⁇ THfr1 ⁇ THfr2 shall be in the relationship of If the frame rate is equal to or greater than the threshold THfr1 and less than the threshold THfr2, the failure detection unit 114 stores the failure identifier FM1 and the level LV1 in the address AD101 of the register 114a assuming that the "frame rate drop" occurs at the level LV1. .
  • the failure detection unit 114 stores the failure identifier FM1 and the level LV2 in the address AD101 of the register 114a, assuming that the "frame rate drop" occurs at the level LV2. If the frame rate is equal to or higher than the threshold value THfr2, the failure detection unit 114 sets the address AD101 of the register 114a to NULL, assuming that the "decrease in frame rate" has not occurred.
  • the controller 23 when notified of a failure, the controller 23 identifies the presence and type of failure (S2). Upon receiving the failure signal, the controller 23 identifies the presence or absence of failure and the type of failure indicated by the failure signal. Further, the controller 23 identifies the level of failure if the level of failure is indicated by the failure signal (S11). The controller 23 determines whether to switch from the display mode to the mirror mode according to the presence or absence of failure, the type of failure, and the level of failure (S3).
  • the controller 23 detects that the failure mode "decrease in frame rate" occurs at level LV1, and the failure of this level LV1 is displayed. Judge the mode as a continuable failure.
  • the controller 23 detects that the failure mode "decrease in frame rate" occurs at level LV2. It is determined that the failure should not be continued.
  • the controller 23 determines that the display mode should be switched if the failures indicated by the multiple failure signals include failures that should not continue the display mode. The controller 23 determines that switching should not be performed if the failure indicated by the multiple failure signals is a failure that allows the display mode to continue or is NULL (no failure). If all failure signals indicate NULL, the controller 23 determines that no failure has occurred and that switching should not be performed.
  • the controller 23 performs the processing of S4 and S5 when switching should not be performed (No in S3), and performs the processing of S6 and S7 when switching is to be performed (Yes in S3), as in the second embodiment. .
  • the electronic mirror system 3 switches the operation of the electronic mirror 2 from the display mode to the mirror mode according to the presence/absence of failure, the type of failure, and the level of failure of the imaging device 1. It is possible. Thereby, the convenience of the electronic mirror system 3 can be further improved.
  • the operation of returning from the mirror mode to the display mode will be described as the operation after switching from the display mode to the mirror mode.
  • FIG. 10 is a flow chart showing the operation of the electronic mirror system 3. As shown in FIG. 10, different processing from the second embodiment can be performed in the following points.
  • FIG. 10 is a flow chart showing the operation of the electronic mirror system 3. As shown in FIG.
  • the controller 23 determines whether to return from the mirror mode to the display mode according to the presence or absence of failure and the type of failure (S21). For example, if the failure indicated by the multiple failure signals includes a failure that should not continue the display mode, the controller 23 determines that recovery should not be performed. The controller 23 determines that recovery should be performed if the failure indicated by the multiple failure signals is a failure that allows the display mode to continue or is NULL (no failure). When all failure signals indicate NULL, the controller 23 determines that no failure has occurred and that recovery should be performed.
  • controller 23 If the controller 23 should not return (No in S21), it continues the mirror mode as the operation mode of the electronic mirror 2 (S22).
  • the operation mode of the electronic mirror 2 returns from the mirror mode to the display mode (S23). That is, controller 23 instructs driving interface 25 to switch from mirror mode to display mode.
  • the driving interface 25 Upon receiving an instruction from the controller 23 to switch from the mirror mode to the display mode, the driving interface 25 generates a rotation instruction and supplies it to the driving section 26 according to the instruction.
  • the driving unit 26 rotates the motor of the rotating unit 28a according to the rotation command so as to change the posture of the housing 28c from the posture shown in FIG. 6(b) to the posture shown in FIG. 6(a).
  • the controller 23 notifies information regarding return from the mirror mode to the display mode by at least one of display and sound (S24). For example, the controller 23 may notify the recovery by turning off all of the plurality of display notification units 29-1 to 29-15. The controller 23 may notify the return by outputting an alarm sound or a message sound from the voice notification unit 31 (see FIG. 2). The controller 23 may notify the return by displaying a message on the screen of the display 27 (see FIG. 2).
  • the electronic mirror system 3 can return the operation of the electronic mirror 2 from the mirror mode to the display mode according to the presence or absence of a failure of the imaging device 1 and the type of failure. For example, when the failure of the imaging device 1 is a temporary failure, or when the imaging device 1 is replaced with a repaired imaging device or another imaging device, the operation of the electronic mirror 2 can be switched from the mirror mode to the display. mode can be returned. Thereby, the convenience of the electronic mirror system 3 can be further improved.
  • the electronic mirror system 3 is configured to be able to switch the connection destination of the electronic mirror 2 from the imaging device 1 to another imaging device 4 in response to detection of a failure in the imaging device 1. to further improve convenience.
  • the electronic mirror system 3 further has an imaging device 4 .
  • the imaging device 4 is an in-vehicle camera mounted on the vehicle 5 and arranged at a position adjacent to the imaging device 1 outside or inside the vehicle body 6 . It is a figure which shows the vehicle by which the electronic mirror system 3 is mounted.
  • the imaging device 4 is a substitute for the imaging device 1, and may stop operating while the imaging device 1 is operating properly.
  • the configuration of the imaging device 4 may be the same configuration as that of the imaging device 1 as shown in FIG. 3, or may be a configuration in which the failure detection units 114 and 123 are omitted from FIG.
  • FIG. 12 is a diagram showing the configuration of the electronic mirror system 3.
  • the communication medium 9 may be a communication cable such as a serial cable, or a wireless communication line such as Bluetooth. 12 illustrates a configuration in which the communication medium 9 is a communication cable, and one end of the communication medium 9 is connected to the I/F section 13 of the imaging device 4 and the other end is connected to the I/F section 21 of the electronic mirror 2. be done.
  • the electronic mirror 2 switches between the main connection state and the auxiliary connection state according to the notified failure.
  • the main connection state is a state in which the electronic mirror 2 can communicate with the imaging device 1 and an image acquired by the imaging device 1 is displayed.
  • the auxiliary connection state is a state in which the communicable connection destination of the electronic mirror 2 is the imaging device 4 and an image acquired by the imaging device 4 is displayed.
  • the interface section 21 further has a connector section 213 in addition to the connector section 211, as shown in FIG.
  • the interface section 21 establishes a communication connection with the imaging device 1 via the communication medium 8 under the control of the controller 23 .
  • the interface section 21 performs an interface operation in communication between the imaging device 1 and the controller 23 .
  • the interface unit 21 disconnects the communication connection with the imaging device 4 via the communication medium 9 under the control of the controller 23 .
  • the electronic mirror 2 operates in the main connection state.
  • the controller 23 Upon receiving the failure signal, the controller 23 identifies the presence or absence of failure of the imaging device 1 according to the failure signal.
  • the controller 23 can switch from the main connection state to the auxiliary connection state depending on the presence or absence of a failure.
  • the controller 23 may identify the type of failure in addition to the presence or absence of failure of the imaging device 1 according to the failure signal.
  • the controller 23 can switch from the main connection state to the auxiliary connection state according to the presence or absence of a failure and the type of failure.
  • the controller 23 may specify the level of failure in addition to the presence or absence of failure and the type of failure of the imaging device 1 according to the failure signal.
  • the controller 23 can switch from the main connection state to the auxiliary connection state according to the presence or absence of failure, the type of failure, and the level of failure.
  • the interface unit 21 When instructed by the controller 23 to switch from the main connection state to the auxiliary connection state, the interface unit 21 cuts off the communication connection with the imaging device 1 via the communication medium 8 and disconnects the communication medium 9 according to the instruction. establishes a communication connection with the imaging device 4 via the . When the communication connection is established, the interface section 21 performs an interface operation in communication between the imaging device 9 and the controller 23 . Thereby, the electronic mirror 2 operates in the auxiliary connection state.
  • FIG. 14 is a flow chart showing the operation of the electronic mirror system 3. As shown in FIG.
  • the imaging device 1 when the imaging device 1 detects a failure (S1), it notifies the electronic mirror 2 of the failure.
  • the imaging device 1 may detect the type of failure in addition to the presence or absence of the failure, generate a failure signal indicating the type of failure, and notify the electronic mirror 2 of the failure signal.
  • the controller 23 when notified of a failure, the controller 23 identifies the presence and type of failure (S2). Upon receiving the failure signal, the controller 23 identifies the presence or absence of failure indicated by the failure signal and the type of failure. The controller 23 determines whether or not to switch from the main connection state to the auxiliary connection state according to the presence or absence of a failure and the type of failure (S31). The controller 23 may determine whether or not to switch from the main connection state to the auxiliary connection state according to the presence or absence of a failure and the type of failure indicated by a plurality of failure signals.
  • the controller 23 determines that the failure mode "decreased frame rate" has occurred, but this failure is a failure that allows the main connection state to be continued. to decide.
  • the controller 23 determines that the failure mode "video transmission abnormality" has occurred and that this failure is a failure that should not continue the main connection state.
  • the controller 23 determines that the failure mode "sensitivity abnormality" has occurred and that this failure should not continue the main connection state.
  • the controller 23 determines that the failure mode "dynamic range abnormality" has occurred and that this failure should not continue the main connection state.
  • the controller 23 determines that the failure mode "linearity abnormality" has occurred and that this failure is a failure that should not continue the main connection state.
  • the controller 23 determines that the failure mode "display position deviation" has occurred and that this failure should not continue the main connection state.
  • the controller 23 determines that the failure mode "image sticking" has occurred and that this failure should not continue the main connection state.
  • the controller 23 determines that the failure mode "horizontal reversal abnormality" has occurred and that this failure should not continue the main connection state.
  • the controller 23 determines that switching should be performed when failures indicated by a plurality of failure signals include failures that should not continue the main connection state. The controller 23 determines that switching should not be performed if the failure indicated by the multiple failure signals is a failure that allows the main connection state to be continued or is NULL (no failure). If all failure signals indicate NULL, the controller 23 determines that no failure has occurred and that switching should not be performed.
  • controller 23 If the controller 23 should not switch (No in S31), the controller 23 continues the main connection state as the operating state of the electronic mirror 2 (S33), and notifies information about the failure by at least one of display and sound (S5).
  • the controller 23 switches the operation state of the electronic mirror 2 from the main connection state to the auxiliary connection state (S33). That is, the controller 23 instructs the interface section 21 to switch from the main connection state to the auxiliary connection state.
  • the interface unit 21 cuts off the communication connection with the imaging device 1 via the communication medium 8 in response to the instruction, and disconnects the communication connection via the communication medium 9 .
  • a communication connection with the imaging device 4 is established. Then, the controller 23 notifies information about the failure by at least one of display and sound (S7).
  • the electronic mirror system 3 can switch the electronic mirror 2 from the main connection state to the auxiliary connection state in response to detection of a failure in the imaging device 1 .
  • the connection destination of the electronic mirror 2 can be switched from the imaging device 1 to another imaging device 4, and the convenience of the electronic mirror system 3 can be further improved.
  • the operation of returning from the auxiliary connection state to the main connection state will be described as the operation after switching from the main connection state to the auxiliary connection state.
  • FIG. 15 is a flow chart showing the operation of the electronic mirror system 3. As shown in FIG.
  • the controller 23 determines whether or not to return from the auxiliary connection state to the main connection state according to the presence or absence of a failure and the type of failure (S41). For example, if the failure indicated by a plurality of failure signals includes a failure that should not continue the main connection state, the controller 23 determines that recovery should not be performed. The controller 23 determines that recovery should be performed if the failure indicated by the multiple failure signals is a failure that allows the main connection state to continue or is NULL (no failure). When all failure signals indicate NULL, the controller 23 determines that no failure has occurred and that recovery should be performed.
  • the operation state of the electronic mirror 2 is returned from the auxiliary connection state to the main connection state (S43). That is, the controller 23 instructs the interface section 21 to switch from the auxiliary connection state to the main connection state.
  • the interface unit 21 cuts off the communication connection with the imaging device 4 via the communication medium 9 in response to the instruction, and disconnects the communication connection via the communication medium 8.
  • a communication connection is established with the image capturing apparatus 1 that has been selected.
  • the controller 23 notifies information regarding the return from the auxiliary connection state to the main connection state by at least one of display and sound (S44). For example, the controller 23 may notify the recovery by turning off all of the plurality of display notification units 29-1 to 29-15. The controller 23 may notify the return by outputting an alarm sound or a message sound from the voice notification unit 31 (see FIG. 2). The controller 23 may notify the return by displaying a message on the screen of the display 27 (see FIG. 2).
  • the electronic mirror system 3 can return the operation of the electronic mirror 2 from the auxiliary connection state to the main connection state according to the presence or absence of a failure of the imaging device 1 and the type of failure. be.
  • the failure of the imaging device 1 is a temporary failure, or when the imaging device 1 is replaced with a repaired imaging device or another imaging device, the operation of the electronic mirror 2 is changed from the auxiliary connection state. It can be returned to the main connected state. Thereby, the convenience of the electronic mirror system 3 can be further improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Facsimiles In General (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本開示に係る電子ミラーシステムは、撮像装置と電子ミラーとを有する。撮像装置は、画像を取得する。電子ミラーは、撮像装置で取得された画像を表示可能である。撮像装置は、検知部と通知部とを有する。検知部は、故障を検知する。通知部は、検知された故障を電子ミラーに通知する。電子ミラーは、報知部を有する。報知部は、通知された故障に関する情報を報知する。

Description

電子ミラーシステム、撮像装置、及び電子ミラー
 本発明は、電子ミラーシステム、撮像装置、及び電子ミラーに関する。
 近年、車両の運転支援システムの普及に伴い、撮像装置が車両に搭載されることが増えつつある。
国際公開第2019/107210号 特表2015-511905号公報
 本開示は、容易に利便性を向上できる電子ミラーシステム、撮像装置、及び電子ミラーを提供する。
 本開示に係る電子ミラーシステムは、撮像装置と電子ミラーとを有する。撮像装置は、画像を取得する。電子ミラーは、撮像装置で取得された画像を表示可能である。撮像装置は、検知部と通知部とを有する。検知部は、故障を検知する。通知部は、検知された故障を電子ミラーに通知する。電子ミラーは、報知部を有する。報知部は、通知された故障に関する情報を報知する。
第1の実施形態にかかる電子ミラーシステムが搭載される車両を示す図。 第1の実施形態にかかる電子ミラーシステムの構成を示す図。 第1の実施形態における撮像装置の構成を示す図。 第1の実施形態における撮像装置で検知される故障の種類を示す図。 第1の実施形態における電子ミラーの構成を示す図。 第2の実施形態におけるディスプレイモードとミラーモードとの切り替えを示す図。 第2の実施形態にかかる電子ミラーシステムの動作を示すフローチャート。 第3の実施形態におけるディスプレイモードとミラーモードとの切り替えを示す図。 第4の実施形態にかかる電子ミラーシステムの動作を示すフローチャート。 第5の実施形態にかかる電子ミラーシステムの動作を示すフローチャート。 第6の実施形態にかかる電子ミラーシステムが搭載される車両を示す図。 第6の実施形態にかかる電子ミラーシステムの構成を示す図。 第6の実施形態における電子ミラーの構成を示す図。 第6の実施形態にかかる電子ミラーシステムの動作を示すフローチャート。 第7の実施形態にかかる電子ミラーシステムの動作を示すフローチャート。
 以下、図面を参照しながら、本開示に係る電子ミラーシステムの実施形態について説明する。
(第1の実施形態)
 第1の実施形態にかかる電子ミラーシステムは、車両に搭載される撮像装置(車載カメラ)を含み、車両の運転支援に用いられ得る。運転支援用の撮像装置は、内部のISP(Image Signal Processor)による画像処理により、車両、歩行者、障害物などの物体を検知し、運転者に警告を行ったり、車両を強制的に停止させたりするなど、車両の運転支援システムにおいて主要な役割を担っている。
 車両には、撮像装置とともに電子ミラーが搭載され、撮像装置及び電子ミラーを含む電子ミラーシステムが構成されることがある。電子ミラーは、車両周辺(例えば、車両後方)を視認するためのミラーに代えて、撮像装置で撮像された車両周辺の画像を表示する。
 例えば、電子ミラーシステムにおいて、撮像装置の故障が発生し、電子ミラーに車両周辺の画像が適正に表示されないことがある。しかし、電子ミラーに表示された画像を視認しても撮像装置が故障している否かがユーザで判断しにくい。すなわち、ユーザが業者に依頼して行われる精密検査によらなければ、撮像装置の故障が発見されにくいが、そもそも、ユーザが故障の発生について認識していなければ業者に依頼することが行われない。これにより、撮像装置の故障が発生した後、撮像装置の故障が放置される可能性がある。
 撮像装置の故障が放置されると、電子ミラーシステムが適正に動作せず、その利便性が損なわれる可能性がある。
 そこで、本実施形態では、電子ミラーシステムにおいて、撮像装置の故障を撮像装置が検知して電子ミラーに通知し、電子ミラーが通知された故障に関する故障信号をユーザに向けて報知することで、利便性の向上を図る。
 具体的には、電子ミラーシステムは、車両に搭載され、撮像装置と電子ミラーとを有する。撮像装置は、イメージセンサ及びシグナルプロセッサを有する。撮像装置は、イメージセンサで画像を取得し、取得された画像に応じた信号をシグナルプロセッサ(ISP)で処理して電子ミラーへ出力する。電子ミラーは、撮像装置で取得された画像を表示部に表示可能である。これにより、電子ミラーは、撮像装置で撮像された車両周辺の画像を表示でき、ミラーの代替として動作可能である。このとき、撮像装置は、イメージセンサ及び/又はシグナルプロセッサの故障を検知し、検知された故障に関する情報を保持する。撮像装置は、電子ミラーからの要求に応じて、又は自律的に、故障を電子ミラーへ通知する。電子ミラーは、通知された故障に応じて、撮像装置の故障に関する情報を報知する。電子ミラーは、音声及び/又は表示により、撮像装置の故障に関する情報を報知してもよい。これにより、ユーザが撮像装置の故障の発生に対応するように促すことができ、例えば、ユーザが専門家に依頼することなどにより撮像装置の修理が行われるようにすることができる。この結果、撮像装置の故障が放置されることを低減でき、電子ミラーシステムを適正に動作する状態に戻すことができるため、電子ミラーシステムの利便性を向上できる。
 より具体的には、電子ミラーシステム3は、図1に示すように、車両5に搭載され得る。図1は、電子ミラーシステム3が搭載される車両5を示す図である。電子ミラーシステム3は、撮像装置1及び電子ミラー2を有する。
 撮像装置1は、車両5に搭載される車載カメラであり、車体6の外部又は内部に設置される。撮像装置1は、車体6の後ろ側の端部に設置され後方の電子ミラーに適用されてもよいし、車体6のドア付近の端部に設置され側方の電子ミラーに適用されてもよいし、車体6の前側の端部に設置され前方の電子ミラーに適用されてもよい。
 電子ミラー2は、車室7内に配される。電子ミラー2は、車室7に向く面にディスプレイ27を有し、撮像装置1で取得された画像をディスプレイ27に表示可能である。電子ミラー2は、後方の電子ミラーである場合、ルームミラーの形態で実装されてもよく、ディスプレイ27の形状がルームミラーの鏡面の形状であってもよい。電子ミラー2は、側方の電子ミラーである場合、ドアミラー(例えば、ドアミラー61)の形態で実装されてもよく、ディスプレイ27の形状がドアミラーの鏡面の形状であってもよい。電子ミラー2は、前方の電子ミラーである場合、車載用の表示デバイス(例えば、表示デバイス71)の形態で実装されてもよく、ディスプレイ27の形状が表示デバイスの表示部の形状であってもよい。
 図1では、撮像装置1が車体6の後ろ側の端部6aに設置され、電子ミラー2が後方の電子ミラーに適用される構成が例示されている。後方の電子ミラーは、電子ルームミラーとも呼ばれる。撮像装置1は、車体後方の画像を取得する。電子ミラー2は、撮像装置1で撮像された車体後方の画像を表示可能である。
 電子ミラーシステム3において、撮像装置1及び電子ミラー2は、図2に示すように、通信媒体8を介して互いに通信可能に接続される。図2は、電子ミラーシステム3の構成を示す図である。通信媒体8は、シリアルケーブル等の通信ケーブルであってもよいし、ブルートゥース(登録商標)等の無線通信回線であってもよい。図2では、通信媒体8が通信ケーブルであり、通信媒体8の一端が撮像装置1のI/F部13に接続され他端が電子ミラー2のI/F部21に接続される構成が例示される。
 撮像装置1は、車体6の周辺を撮像し、取得された画像を電子ミラー2へ通信媒体8経由で供給する。これにより、電子ミラー2は、撮像装置1で撮像される画像を受け、受けた画像をそのままディスプレイ27に表示してもよいし、受けた画像から部分画像を切り出してディスプレイ27に表示してもよい。図2では、撮像装置1で撮像された画像からルームミラーの鏡面の形状に切り出された部分画像が電子ミラー2のディスプレイ27に表示される構成が例示されている。電子ミラー2は、その筐体28cの姿勢が可変な状態で筐体が車体6の屋根部6bの内側に固定されていてもよい。電子ミラー2は、回動部28a及び支持部28bを介して筐体28cが車体6の屋根部6bに固定されていてもよい。電子ミラー2は、筐体28cの姿勢が変更されることに応じて、全体画像から切り出す部分画像の位置を微調整して切り出してディスプレイ27に表示してもよい。これにより、電子ミラー2は、撮像装置1で撮像された車両周辺の画像をその筐体28cの姿勢に応じて表示でき、ミラーの代替として動作可能である。
 撮像装置1は、図3に示すように、イメージセンサ11、シグナルプロセッサ(ISP:Image Signal Processor)12、及びインターフェース(I/F)部13を有する。図3は、撮像装置1の構成を示す図である。イメージセンサ11は、端子11a~11cを有する。シグナルプロセッサ12は、端子12a~12fを有する。インターフェース部13は、端子13a~13dを有する。
 イメージセンサ11は、車両5周辺(例えば、車両5後方)の画像を取得し、取得された画像に応じた複数の画素信号を生成し、複数の画素信号をシグナルプロセッサ12へ供給する。それとともに、イメージセンサ11は、イメージセンサ11の故障を検知し、検知された故障に関する情報を保持する。イメージセンサ11は、電子ミラー2からの要求に応じて、又は自律的に、イメージセンサ11の故障をシグナルプロセッサ12及びインターフェース部13経由で電子ミラー2へ通知する。
 イメージセンサ11は、画素部111、インターフェース(I/F)112、駆動制御部113、故障検知部114を有する。画素部111は、複数の画素が複数行及び複数列を構成するように配列され、複数列に対応して複数のADコンバータ(複数のADC)が配列される。画素部111は、その撮像面に形成された被写体像(画像)に応じて複数の画素で電荷蓄積動作を行い、蓄積された複数の画素の信号を列ごとにADコンバータでAD変換して、複数の画素信号を生成する。駆動制御部113は、垂直走査回路及び水平走査回路を有する。垂直走査回路は、垂直駆動信号(VD)に応じて複数の画素を垂直方向に走査し、複数の画素の電荷蓄積動作等の制御を行単位で駆動する。水平走査回路は、水平駆動信号(HD)に応じて複数の画素を水平方向に走査し、複数の画素から画素信号の読み出し及びAD変換を列単位で駆動する。
 インターフェース112は、端子11b,12bを介して、シグナルプロセッサ12と通信制御情報をやり取りし、シグナルプロセッサ12との通信を確立する。インターフェース112は、SPI(Serial Peripheral Interface)方式に従ってシグナルプロセッサ12との通信を確立してもよい。インターフェース112は、画素部111から出力された複数の画素信号を1フレームの画像として端子11a,12a経由でシグナルプロセッサ12へ伝送する。インターフェース112は、時間連続的な複数フレームの画像を映像信号として端子11a,12a経由でシグナルプロセッサ12へ伝送可能である。
 故障検知部114は、イメージセンサ11の故障を検知する。故障検知部114は、定期的にイメージセンサ11の故障を検知してもよいし、電子ミラー2からの要求に応じてイメージセンサ11の故障を検知してもよいし、車両5を統括的に制御するECU(図示せず)からの要求に応じてイメージセンサ11の故障を検知してもよい。故障検知部114は、レジスタ114aを有し、検知された故障に関する情報をレジスタ114aに保持する。故障検知部114は、図4に示すように、イメージセンサ11の故障の種類をさらに検知し、検知された故障の種類に応じた故障モードを特定し、故障モードを示す情報をレジスタ114aに格納する。図4は、撮像装置1で検知される故障の種類を示す図である。
 故障の種類が互いに異なる複数の故障モードがあり、複数の故障モードに対応する複数の故障識別子FM1~FM15が予め規定され、レジスタ114a内に複数の故障識別子FM1~FM15に対応する複数のアドレスAD101~AD115が確保されているとする。故障識別子FM1,FM2,FM6,FM7,FM8,FM13,FM14,FM15は、それぞれ、故障モード「フレームレート低下」、「映像伝送遅延異常」「感度異常」「ダイナミックレンジ異常」「リニアリティ異常」「表示位置ずれ」「画像固着」「左右反転異常」に対応している。故障識別子FM1,FM2,FM6,FM7,FM8,FM13,FM14,FM15は、それぞれ、レジスタ114a内のアドレスAD101,AD102,AD106,AD107,AD108,AD113,AD114,AD115に対応している。
 故障モード「フレームレート低下」は、電子ミラー2のディスプレイ27に表示される映像信号のフレームレートが閾値より低下する故障であり、ディスプレイ27に表示される映像の時間的な変化が滑らかでなくなる現象を示す。故障モード「映像伝送遅延異常」は、撮像装置1内における映像信号の伝送の遅延が閾値を超えて大きくなる故障であり、ディスプレイ27に時間的に過去の画像が表示される現象を示す。故障モード「感度異常」は、撮像装置1による撮像の感度が許容範囲を外れる故障である。故障モード「ダイナミックレンジ異常」は、撮像装置1による信号のダイナミックレンジが閾値を下回って小さくなる故障である。「リニアリティ異常」は、撮像装置1による撮像のリニアリティが閾値を下回って小さくなる故障である。「表示位置ずれ」は、撮像装置1で取得される画像における被写体の位置が実際の位置からずれる故障である。「画像固着」は、撮像装置1で取得される画像が固着してほぼ変化しなくなる故障である。「左右反転異常」は、撮像装置1で取得される画像における被写体が実際と左右反転する故障である。
 故障検知部114は、VDカウンター、フレームカウンター、内部クロックモニターを有する。VDカウンターは、垂直駆動信号(VD)と次の垂直駆動信号(VD)との時間間隔をカウントする。故障検知部114は、VDカウンターのカウント値から1フレーム期間の時間的長さを求めることができる。フレームカウンターは、フレーム同期信号の数をカウントする。故障検知部114は、カウントした時間をフレームカウンターのカウント値で除算することなどによりフレームレートを求めることができる。内部クロックモニターは、インターフェース112による信号の伝送に用いられる内部クロックのクロック数をカウントする。故障検知部114は、カウントした時間を内部クロックモニターのカウント値で除算することなどにより内部クロックの周期を求め、伝送される信号のビット数と内部クロックの周期とに応じて、インターフェース112による信号の伝送レートを求めることができる。
 故障検知部114は、求められた1フレーム期間の時間的長さ又はフレームレートに応じて、フレームレートと閾値THfrとを比較する。故障検知部114は、フレームレートが閾値THfrより低下していれば、「フレームレート低下」が発生しているとしてレジスタ114aのアドレスAD101に故障識別子FM1を格納する。故障検知部114は、フレームレートが閾値THfr以上であれば、「フレームレート低下」が発生していないとしてレジスタ114aのアドレスAD101をNULLの状態にする。
 故障検知部114は、求められた信号の伝送レートに応じて、信号の伝送レートと閾値THtr1と閾値THtr2とを比較する。2つの閾値THtr1,THtr2は、
   0<THtr1<THtr2
の関係にあるものとする。故障検知部114は、信号の伝送レートが閾値THtr1以上閾値THtr2未満であれば、「映像伝送遅延異常」が発生しており「画像固着」が発生していないとしてとして、レジスタ114aのアドレスAD102に故障識別子FM2を格納しアドレスAD114をNULLの状態にする。故障検知部114は、信号の伝送レートが閾値THtr1未満であれば、「映像伝送遅延異常」が発生しており「画像固着」が発生しているとして、レジスタ114aのアドレスAD102に故障識別子FM2を格納しアドレスAD114に故障識別子FM14を格納する。故障検知部114は、閾値THtr2以上であれば、「映像伝送遅延異常」及び「画像固着」がいずれも発生していないとして、レジスタ114aのアドレスAD102及びアドレスAD114のそれぞれをNULLの状態にする。
 故障検知部114は、ADCループバックテストを実行可能である。ADCループバックテストでは、複数列のADコンバータのそれぞれについて、ADコンバータの出力をDA変換して入力へループバックさせることなどにより、適正にAD変換が行われているかテストする。故障検知部114は、ADコンバータの入力レベルに対する出力レベルの比率に応じて、ADコンバータの感度を求めることができる。故障検知部114は、入力に対して出力が変化するような入力レベルの範囲に応じて、AD変換のダイナミックレンジを求めることができる。故障検知部114は、入力を線形的に変化させたときの出力の変化率に応じて、AD変換のリニアリティを求めることができる。
 故障検知部114は、求められたAD変換の感度に応じて、AD変換の感度と閾値THsnとを比較する。故障検知部114は、AD変換の感度が閾値THsnより低下していれば、「感度異常」が発生しているとしてレジスタ114aのアドレスAD106に故障識別子FM6を格納する。故障検知部114は、フレームレートが閾値THsn以上であれば、「感度異常」が発生していないとしてレジスタ114aのアドレスAD106をNULLの状態にする。
 故障検知部114は、求められたAD変換のダイナミックレンジに応じて、AD変換のダイナミックレンジと閾値THdrとを比較する。故障検知部114は、AD変換のダイナミックレンジが閾値THdrより低下していれば、「ダイナミックレンジ異常」が発生しているとしてレジスタ114aのアドレスAD107に故障識別子FM7を格納する。故障検知部114は、AD変換のダイナミックレンジが閾値THdr以上であれば、「ダイナミックレンジ異常」が発生していないとしてレジスタ114aのアドレスAD107をNULLの状態にする。
 故障検知部114は、求められたAD変換のリニアリティに応じて、AD変換のリニアリティと閾値THlnとを比較する。故障検知部114は、AD変換のリニアリティが閾値THlnより低下していれば、「リニアリティ異常」が発生しているとしてレジスタ114aのアドレスAD108に故障識別子FM8を格納する。故障検知部114は、AD変換のリニアリティが閾値THln以上であれば、「リニアリティ異常」が発生していないとしてレジスタ114aのアドレスAD108をNULLの状態にする。
 故障検知部114は、BIST(Biult-In Self Test)回路及びアドレスパターンモニターを有する。BIST回路は、垂直走査回路にテストパターンを入力し、垂直走査回路の出力と期待値と比較し、垂直走査回路の出力の期待値からのずれを求める。アドレスパターンモニターは、垂直走査回路から複数の画素を垂直方向に走査するためのアドレスパターンを取得し、取得されたアドレスパターンと適正なアドレスパターンとを比較し、アドレスパターンの垂直方向のずれを求める。
 故障検知部114は、求められた垂直走査回路の出力の期待値からのずれとアドレスパターンの垂直方向のずれとに応じて、画像の表示位置のずれを推定し、推定されたずれと閾値THadとを比較する。故障検知部114は、推定されたずれが閾値THadを超えていれば、「表示位置ずれ」が発生しているとしてレジスタ114aのアドレスAD113に故障識別子FM13を格納する。故障検知部114は、推定されたずれが閾値THad以下であれば、「表示位置ずれ」が発生していないとしてレジスタ114aのアドレスAD113をNULLの状態にする。
 故障検知部114は、チェッカーパターンモニターを有する。チェッカーパターンモニターは、チェッカーパターンに相当する画素値を有する画素信号を複数列の信号線に供給し、水平走査回路の水平走査で画素部111から出力される信号の画素値をモニターする。
 故障検知部114は、モニターされた画素値に応じて、チェッカーパターンに相当する画素値とモニターされた画素値とを比較する。故障検知部114は、チェッカーパターンに相当する画素値とモニターされた画素値とが反転していれば、「左右反転異常」が発生しているとしてレジスタ114aのアドレスAD115に故障識別子FM15を格納する。故障検知部114は、推定されたずれが閾値THad以下であれば、「表示位置ずれ」が発生していないとしてレジスタ114aのアドレスAD115をNULLの状態にする。
 故障検知部114は、電子ミラー2からの要求に応じて、又は自律的に、レジスタ114aに格納された故障の有無を端子11c、シグナルプロセッサ12、インターフェース部13、通信媒体8経由で電子ミラー2へ通知する。例えば、アドレスAD101を含む故障通知要求を電子ミラー2から通信媒体8、インターフェース部13、シグナルプロセッサ12、端子11c経由で受信した場合、故障検知部114は、レジスタ114aのアドレスAD101を参照する。故障検知部114は、故障識別子FM1が格納されていれば、故障識別子FM1を示す値の故障信号を端子11c、シグナルプロセッサ12、インターフェース部13、通信媒体8経由で電子ミラー2へ返し、NULLの状態であれば、NULLを示す値の故障信号を端子11c、シグナルプロセッサ12、インターフェース部13、通信媒体8経由で電子ミラー2へ返す。これにより、電子ミラー2は、故障通知要求に対する応答を参照することで、故障識別子FM1に対する故障モード「フレームレート低下」の発生の有無を認識できる。
 シグナルプロセッサ12は、画像に応じた複数の画素信号をイメージセンサ11から受け、複数の画素信号に対して所定の信号処理を行う。それとともに、シグナルプロセッサ12は、シグナルプロセッサ12の故障を検知し、検知された故障に関する情報を保持する。シグナルプロセッサ12は、電子ミラー2からの要求に応じて、又は自律的に、故障をインターフェース部13経由で電子ミラー2へ通知する。
 シグナルプロセッサ12は、信号処理部121、インターフェース(I/F)122、故障検知部123を有する。信号処理部121は、ADコンバータ及びアドレス処理回路を有し、ADコンバータ及びアドレス処理回路を用いて、複数の画素信号に対して所定の信号処理を行う。所定の信号処理は、信号のダイナミックレンジを調整する処理、信号に含まれるノイズを低減するNR補正処理を含む。画素部111が各画素にカラーフィルタを含むなどカラーに対応している場合、所定の信号処理は、画素信号から輝度成分(Y)と色度成分(C)とを含むYC信号を生成するYC信号処理をさらに含んでもよい。
 インターフェース122は、端子12e,13bを介して、インターフェース部13と通信制御情報をやり取りし、インターフェース部13との通信を確立する。インターフェース122は、I2C(Inter-Integrated Circuit)方式に従ってインターフェース部13との通信を確立してもよい。インターフェース122は、信号処理部121から出力された複数の画素信号を1フレームの画像として端子12d,13a経由でインターフェース部13へ伝送する。インターフェース122は、時間連続的な複数フレームの画像を映像信号として端子12d,13a経由でインターフェース部13へ伝送可能である。
 故障検知部123は、シグナルプロセッサ12の故障を検知する。故障検知部123は、定期的にシグナルプロセッサ12の故障を検知してもよいし、電子ミラー2からの要求に応じてシグナルプロセッサ12の故障を検知してもよいし、車両5を統括的に制御するECU(図示せず)からの要求に応じてシグナルプロセッサ12の故障を検知してもよい。故障検知部123は、レジスタ123aを有し、検知された故障に関する情報をレジスタ123aに保持する。故障検知部123は、図4に示すように、シグナルプロセッサ12の故障の種類をさらに検知し、故障の種類に応じた故障モードを特定し、故障モードを示す情報をレジスタ123aに格納する。
 レジスタ123a内に複数の故障識別子FM1~FM15に対応する複数のアドレスAD201~AD215が確保されているとする。故障識別子FM1,FM2,FM6,FM7,FM8,FM13,FM14,FM15は、それぞれ、故障モード「フレームレート低下」、「映像伝送遅延異常」「感度異常」「ダイナミックレンジ異常」「リニアリティ異常」「表示位置ずれ」「画像固着」「左右反転異常」に対応している。故障識別子FM1,FM2,FM6,FM7,FM8,FM13,FM14,FM15は、それぞれ、レジスタ123a内のアドレスAD201,AD202,AD206,AD207,AD208,AD213,AD214,AD215に対応している。
 故障検知部123は、VDカウンター、フレームカウンター、内部クロックモニターを有する。VDカウンターは、信号処理部121で処理された信号から垂直駆動信号(VD)を抽出し、垂直駆動信号(VD)と次の垂直駆動信号(VD)との時間間隔をカウントする。故障検知部123は、VDカウンターのカウント値から1フレーム期間の時間的長さを求めることができる。フレームカウンターは、信号処理部121で処理された信号からフレーム同期信号を抽出し、フレーム同期信号の数をカウントする。故障検知部123は、カウントした時間をフレームカウンターのカウント値で除算することなどによりフレームレートを求めることができる。内部クロックモニターは、インターフェース122による信号の伝送に用いられる内部クロックのクロック数をカウントする。故障検知部123は、カウントした時間を内部クロックモニターのカウント値で除算することなどにより内部クロックの周期を求め、伝送される信号のビット数と内部クロックの周期とに応じて、インターフェース122による信号の伝送レートを求めることができる。
 故障検知部123は、求められた1フレーム期間の時間的長さ又はフレームレートに応じて、フレームレートと閾値THfrとを比較する。故障検知部123は、フレームレートが閾値THfrより低下していれば、「フレームレート低下」が発生しているとしてレジスタ123aのアドレスAD201に故障識別子FM1を格納する。故障検知部123は、フレームレートが閾値THfr以上であれば、「フレームレート低下」が発生していないとしてレジスタ123aのアドレスAD201をNULLの状態にする。
 故障検知部123は、求められた信号の伝送レートに応じて、信号の伝送レートと閾値THtr1と閾値THtr2とを比較する。2つの閾値THtr1,THtr2は、
   0<THtr1<THtr2
の関係にあるものとする。故障検知部123は、信号の伝送レートが閾値THtr1以上閾値THtr2未満であれば、「映像伝送遅延異常」が発生しており「画像固着」が発生していないとしてとして、レジスタ123aのアドレスAD202に故障識別子FM2を格納しアドレスAD214をNULLの状態にする。故障検知部123は、信号の伝送レートが閾値THtr1未満であれば、「映像伝送遅延異常」が発生しておらず「画像固着」が発生しているとして、レジスタ123aのアドレスAD202をNULLの状態にしアドレスAD214に故障識別子FM14を格納する。故障検知部123は、閾値THtr2以上であれば、「映像伝送遅延異常」及び「画像固着」がいずれも発生していないとして、レジスタ123aのアドレスAD202及びアドレスAD214のそれぞれをNULLの状態にする。
 故障検知部123は、ADCループバックテストを実行可能である。ADCループバックテストでは、ADコンバータについて、ADコンバータの出力をDA変換して入力へループバックさせることなどにより、適正にAD変換が行われているかテストする。故障検知部123は、ADコンバータの入力レベルに対する出力レベルの比率に応じて、ADコンバータの感度を求めることができる。故障検知部123は、入力に対して出力が変化するような入力レベルの範囲に応じて、AD変換のダイナミックレンジを求めることができる。故障検知部123は、入力を線形的に変化させたときの出力の変化率に応じて、AD変換のリニアリティを求めることができる。
 故障検知部123は、求められたAD変換の感度に応じて、AD変換の感度と閾値THsnとを比較する。故障検知部123は、AD変換の感度が閾値THsnより低下していれば、「感度異常」が発生しているとしてレジスタ123aのアドレスAD206に故障識別子FM6を格納する。故障検知部123は、フレームレートが閾値THsn以上であれば、「感度異常」が発生していないとしてレジスタ123aのアドレスAD206をNULLの状態にする。
 故障検知部123は、求められたAD変換のダイナミックレンジに応じて、AD変換のダイナミックレンジと閾値THdrとを比較する。故障検知部123は、AD変換のダイナミックレンジが閾値THdrより低下していれば、「ダイナミックレンジ異常」が発生しているとしてレジスタ123aのアドレスAD207に故障識別子FM7を格納する。故障検知部123は、AD変換のダイナミックレンジが閾値THdr以上であれば、「ダイナミックレンジ異常」が発生していないとしてレジスタ123aのアドレスAD207をNULLの状態にする。
 故障検知部123は、求められたAD変換のリニアリティに応じて、AD変換のリニアリティと閾値THlnとを比較する。故障検知部123は、AD変換のリニアリティが閾値THlnより低下していれば、「リニアリティ異常」が発生しているとしてレジスタ123aのアドレスAD208に故障識別子FM8を格納する。故障検知部123は、AD変換のリニアリティが閾値THln以上であれば、「リニアリティ異常」が発生していないとしてレジスタ123aのアドレスAD208をNULLの状態にする。
 故障検知部123は、BIST(Biult-In Self Test)回路及びアドレスパターンモニターを有する。BIST回路は、アドレス処理回路にテストパターンを入力し、アドレス処理回路の出力と期待値と比較し、アドレス処理回路の出力の期待値からのずれを求める。アドレスパターンモニターは、アドレス処理回路からアドレスパターンを取得し、取得されたアドレスパターンと適正なアドレスパターンとを比較し、アドレスパターンの垂直方向のずれを求める。
 故障検知部123は、求められたアドレス処理回路の出力の期待値からのずれとアドレスパターンの垂直方向のずれとに応じて、画像の表示位置のずれを推定し、推定されたずれと閾値THadとを比較する。故障検知部123は、推定されたずれが閾値THadを超えていれば、「表示位置ずれ」が発生しているとしてレジスタ123aのアドレスAD213に故障識別子FM13を格納する。故障検知部123は、推定されたずれが閾値THad以下であれば、「表示位置ずれ」が発生していないとしてレジスタ123aのアドレスAD213をNULLの状態にする。
 故障検知部123は、チェッカーパターンモニターを有する。チェッカーパターンモニターは、チェッカーパターンに相当する画素値を有する画素信号を信号処理部121に供給し、アドレス処理回路のアドレス処理により信号処理部121から出力される信号の画素値をモニターする。
 故障検知部123は、モニターされた画素値に応じて、チェッカーパターンに相当する画素値とモニターされた画素値とを比較する。故障検知部123は、チェッカーパターンに相当する画素値とモニターされた画素値とが反転していれば、「左右反転異常」が発生しているとしてレジスタ123aのアドレスAD215に故障識別子FM15を格納する。故障検知部123は、推定されたずれが閾値THad以下であれば、「表示位置ずれ」が発生していないとしてレジスタ123aのアドレスAD215をNULLの状態にする。
 故障検知部123は、電子ミラー2からの要求に応じて、又は自律的に、レジスタ123aに格納された故障の有無を端子12f、インターフェース部13、通信媒体8経由で電子ミラー2へ通知する。例えば、アドレスAD201を含む故障通知要求を電子ミラー2から通信媒体8、インターフェース部13、端子12f経由で受信した場合、故障検知部123は、レジスタ123aのアドレスAD201を参照する。故障検知部123は、故障識別子FM1が格納されていれば、故障識別子FM1を示す値の故障信号を端子12f、インターフェース部13、通信媒体8経由で電子ミラー2へ返し、NULLの状態であれば、NULLを示す値の故障信号を端子12f、インターフェース部13、通信媒体8経由で電子ミラー2へ返す。これにより、電子ミラー2は、故障信号の値を参照することで、故障識別子FM1に対する故障モード「フレームレート低下」の発生の有無を認識できる。
 インターフェース部13は、イメージセンサ11及び/又はシグナルプロセッサ12で検知された故障を電子ミラー2に通知する。インターフェース部13は、通信媒体8を介して電子ミラー2に接続される。初期状態において、インターフェース部13は、コントローラ23からの制御のもと、通信媒体8を介した電子ミラー2との通信接続を確立する。通信接続が確立されると、インターフェース部13は、イメージセンサ11、シグナルプロセッサ12と電子ミラー2との間の通信におけるインターフェース動作を行う。インターフェース部13は、通信における信号のフォーマット変換を行う。通信媒体8がシリアル通信に対応している場合、インターフェース部13は、シリアライザ131を有していてもよい。シリアライザ131は、イメージセンサ11及び/又はシグナルプロセッサ12から端子13a経由で受けた映像信号をパラレル形式からシリアル形式に変換し、シリアル形式の映像信号を端子13d及び通信媒体8経由で電子ミラー2へ送信する。シリアライザ131は、イメージセンサ11及び/又はシグナルプロセッサ12から端子13b経由で受けた通信制御情報をパラレル形式からシリアル形式に変換し、シリアル形式の通信制御情報を端子13d及び通信媒体8経由で電子ミラー2へ送信する。シリアライザ131は、イメージセンサ11及び/又はシグナルプロセッサ12から端子13c経由で受けた故障信号をパラレル形式からシリアル形式に変換し、シリアル形式の故障信号を端子13d及び通信媒体8経由で電子ミラー2へ送信する。
 電子ミラー2は、図5に示すように、インターフェース(I/F)部21、コントローラ23、映像処理部24、ディスプレイ27、ミラー28、表示報知部29-1~29-15及び音声報知部31を有する。図5は、電子ミラー2の構成を示す図である。
 インターフェース部21は、通信媒体8を介して撮像装置1に接続される。インターフェース部13は、コネクタ部211を有し、コネクタ部211に通信媒体8を介して撮像装置1が接続される。インターフェース部21は、撮像装置1とコントローラ23との間の通信におけるインターフェース動作を行う。インターフェース部21は、通信における信号のフォーマット変換を行う。通信媒体8がシリアル通信に対応している場合、インターフェース部13は、デシリアライザ212を有していてもよい。デシリアライザ212は、撮像装置1から通信媒体8及びコネクタ部211経由で伝送された映像信号をシリアル形式からパラレル形式に変換し、パラレル形式の映像信号を映像処理部24へ伝送する。デシリアライザ212は、撮像装置1から通信媒体8及びコネクタ部211経由で受けた故障信号をシリアル形式からパラレル形式に変換し、パラレル形式の故障信号をコントローラ23へ供給する。コネクタ部211からデシリアライザ212への映像信号・故障信号の伝送は、FPD-Link(Flat Panel Display-Link)方式に従った通信で行われてもよい。デシリアライザ212から映像処理部24への映像信号の伝送は、MIPI(Mobile Industry Processor Interface)方式に従った通信で行われてもよい。
 映像処理部24は、デシリアライザ212から伝送された映像信号を表示用の映像信号に変換してディスプレイ27へ供給する。これにより、ディスプレイ27は、映像信号に応じた映像を画面に表示する。
 コントローラ23は、故障信号を受けると、故障信号で示される故障の有無及び故障の種類を特定する。コントローラ23は、故障の有無及び故障の種類に応じて、音声及び表示の少なくとも一方により故障に関する情報を報知する。
 コントローラ23は、故障の有無及び故障の種類に応じて、複数の表示報知部29-1~29-15の少なくとも1つの表示報知部29で報知させてもよい。各表示報知部29-1~29-15は、例えばLED(Light Emission Diode)等の表示灯である。表示報知部29-1,29-2,29-6,29-7,29-8,29-13,29-14,29-15は、それぞれ、故障識別子FM1,FM2,FM6,FM7,FM8,FM13,FM14,FM15に対応している。すなわち、表示報知部29-1,29-2,29-6,29-7,29-8,29-13,29-14,29-15は、それぞれ、故障モード「フレームレート低下」、「映像伝送遅延異常」「感度異常」「ダイナミックレンジ異常」「リニアリティ異常」「表示位置ずれ」「画像固着」「左右反転異常」に対応している(図4参照)。例えば、コントローラ23は、故障識別子FM1を示す故障信号を受けた場合、表示報知部29-1(図2参照)を選択的に点灯させる。これにより、「フレームレート低下」が発生したことをユーザに報知することができる。
 コントローラ23は、故障の有無及び故障の種類に応じて、音声報知部31で報知させてもよい。音声報知部31は、例えばアラームである。例えば、コントローラ23は、故障識別子FM1を示す故障信号を受けた場合、音声報知部31(図2参照)からアラーム音又は警告メッセージ音を出力させる。これにより、「フレームレート低下」が発生したことをユーザに報知することができる。
 コントローラ23は、故障の有無及び故障の種類に応じて、ディスプレイ27で報知させてもよい。例えば、コントローラ23は、故障識別子FM1を示す故障信号を受けた場合、ディスプレイ27(図2参照)の画面に警告メッセージを表示させる。これにより、「フレームレート低下」が発生したことをユーザに報知することができる。
 以上のように、第1の実施形態では、電子ミラーシステム3において、撮像装置1の故障を撮像装置1が検知して電子ミラー2に通知し、電子ミラー2が通知された故障に関する故障信号をユーザに向けて報知する。これにより、ユーザが撮像装置1の故障の発生に対応するように促すことができ、電子ミラーシステム3を適正に動作する状態に戻すことができるため、電子ミラーシステム3の利便性を向上できる。
 なお、図3では、故障検知部114,123がそれぞれイメージセンサ11内、シグナルプロセッサ12内でハードウェア的に実現される構成が例示されているが、故障検知部114,123はイメージセンサ11内、シグナルプロセッサ12内でソフトウェア的に実現されてもよい。例えば、イメージセンサ11内、シグナルプロセッサ12内にそれぞれコントローラ、ROM、RAMが搭載されていてもよい。この場合、イメージセンサ11及びシグナルプロセッサ12のそれぞれにおいて、ROMに故障検知プログラムを格納させておき、撮像装置1の起動等に応じてコントローラがROMから故障検知プログラムを読み出してRAM上に機能的な構成として故障検知部114,123を展開してもよい。
(第2の実施形態)
 次に、第2の実施形態にかかる電子ミラーシステムについて説明する。以下では、第1の実施形態と異なる部分を中心に説明する。
 第2の実施形態では、電子ミラーシステム3は、撮像装置1で故障が検知されたことに応じて電子ミラー2の動作を切り替え可能に構成されることで、更なる利便性の向上を図る。
 具体的には、電子ミラーシステム3において、電子ミラー2は、撮像装置1から通知された故障に応じてディスプレイモードとミラーモードとを切り替える。ディスプレイモードは、電子ミラー2が撮像装置1で撮像された画像を表示するディスプレイとして機能するモードである。ミラーモードは、電子ミラー2がミラーとして機能するモードである。
 電子ミラー2は、ディスプレイモードとミラーモードとを切り替えるための構成として、図5に示すように、駆動インターフェース(駆動I/F)25及び駆動部26をさらに有してもよい。回動部28a(図2参照)は、モータを有し、駆動部26により駆動可能である。駆動インターフェース25は、ディスプレイモードからミラーモードへ切り替える指示をコントローラ23から受けると、その指示に応じて、回転指令を生成して駆動部26へ供給する。駆動部26は、回転指令に従い、筐体28cを図6(a)に示す姿勢から図6(b)に示す姿勢に変更するように、回動部28aのモータを回転させる。図6は、ディスプレイモードとミラーモードとの切り替えを示す図であり、図6(a)は、ディスプレイモードを示し、図6(b)は、ミラーモードを示す。
 ディスプレイモードでは、筐体28cで支持される反射層28fの反射面の法線が水平面より上側を向くように調整されるため、図6(a)に矢印で示すように、車体6後方の被写体OBからの光がユーザの視点位置EYに届きにくい。また、コントローラ23がディスプレイ27及び電源PS1を接続するスイッチSW1をオンしておりディスプレイ27が動作し画面に画像を表示しているため、図6(a)に白抜きの矢印で示すように、ユーザの視点位置EYに、ディスプレイ27の表示画像が届きやすい。これにより、電子ミラー2は、撮像装置1で撮像された画像を表示するディスプレイとして機能する。なお、筐体28cで支持される反射層28fは、前面がEC材(ElectroChromic材)28eで覆われ、背面がガラス28gで覆われる。EC材28eは、前面がガラス28dで覆われる。
 ミラーモードでは、図6(b)に矢印で示すように、筐体28cで支持される反射層28fの反射面の法線がほぼ水平面を向くように調整されるため、車体6後方の被写体OBからの光がユーザの視点位置EYに届きやすい。また、コントローラ23がスイッチSW1をオフしておりディスプレイ27が停止し画面に画像を表示していない。これにより、電子ミラー2は、ミラーとして機能する。
 ディスプレイモードからミラーモードへ切り替えは、図7に示すように行われ得る。図7は、電子ミラーシステム3の動作を示すフローチャートである。
 電子ミラーシステム3において、撮像装置1は、故障を検知すると(S1)、故障を電子ミラー2へ通知する。撮像装置1は、故障の有無に加えて故障の種類を検知し、故障の種類を示す故障信号を生成して電子ミラー2へ通知してもよい。撮像装置1は、複数の故障信号を電子ミラー2へ通知してもよい。
 電子ミラー2において、コントローラ23は、故障が通知されると、故障の有無及び種類を特定する(S2)。コントローラ23は、故障信号を受けると、故障信号で示される故障の有無及び故障の種類を特定する。コントローラ23は、故障の有無及び故障の種類に応じて、ディスプレイモードからミラーモードへ切り替えるべきか否か判断する(S3)。コントローラ23は、複数の故障信号で示される故障の有無及び故障の種類に応じて、ディスプレイモードからミラーモードへ切り替えるべきか否か判断してもよい。
 例えば、コントローラ23は、故障信号で故障識別子FM1(図4参照)が示される場合、故障モード「フレームレート低下」が発生しているが、この故障がディスプレイモードを継続可能な故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM2が示される場合、故障モード「映像伝送異常」が発生しており、この故障がディスプレイモードを継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM6が示される場合、故障モード「感度異常」が発生しており、この故障がディスプレイモードを継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM7が示される場合、故障モード「ダイナミックレンジ異常」が発生しており、この故障がディスプレイモードを継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM8が示される場合、故障モード「リニアリティ異常」が発生しており、この故障がディスプレイモードを継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM13が示される場合、故障モード「表示位置ずれ」が発生しており、この故障がディスプレイモードを継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM14が示される場合、故障モード「画像固着」が発生しており、この故障がディスプレイモードを継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM15が示される場合、故障モード「左右反転異常」が発生しており、この故障がディスプレイモードを継続すべきでない故障であると判断する。
 コントローラ23は、複数の故障信号で示される故障にディスプレイモードを継続すべきでない故障が含まれる場合、切り替えるべきであると判断する。コントローラ23は、複数の故障信号で示される故障がディスプレイモードを継続可能な故障であるかNULL(故障無し)である場合、切り替えるべきでないと判断する。コントローラ23は、すべての故障信号でNULLが示される場合、故障が発生していないとして、切り替えるべきでないと判断する。
 コントローラ23は、切り替えるべきでない場合(S3でNo)、電子ミラー2の動作モードとしてディスプレイモードを継続させ(S4)、表示及び音声の少なくとも一方により故障に関する情報を報知する(S5)。
 コントローラ23は、切り替えるべきである場合(S3でYes)、電子ミラー2の動作モードをディスプレイモードからミラーモードへ切り替える(S6)。すなわち、コントローラ23は、ディスプレイモードからミラーモードへ切り替えるように駆動インターフェース25に指示する。駆動インターフェース25は、ディスプレイモードからミラーモードへ切り替える指示をコントローラ23から受けると、その指示に応じて、回転指令を生成して駆動部26へ供給する。駆動部26は、回転指令に従い、筐体28cを図6(a)に示す姿勢から図6(b)に示す姿勢に変更するように、回動部28aのモータを回転させる。そして、コントローラ23は、表示及び音声の少なくとも一方により故障に関する情報を報知する(S7)。
 以上のように、第2の実施形態では、電子ミラーシステム3は、撮像装置1で故障が検知されたことに応じて、電子ミラー2の動作をディスプレイモードからミラーモードへ切り替え可能である。これにより、電子ミラーシステム3の利便性をさらに向上できる。
(第3の実施形態)
 次に、第3の実施形態にかかる電子ミラーシステムについて説明する。以下では、第1の実施形態及び第2の実施形態と異なる部分を中心に説明する。
 第2の実施形態では、ディスプレイモードとミラーモードとの切り替えを機械的な切り替え動作で実現しているが、第3の実施形態では、電気的な切り替え動作で実現する。
 具体的には、図8(a)に示すように、電子ミラー2におけるミラー28は、反射層28fに代えて透過率可変層28f’を有する。透過率可変層28f’は、偏向層及び液晶材料層が積層された構造を有する。透過率可変層28f’は、液晶材料層の両端に電圧が印加されなければ、液晶材料の偏光方向と偏向層の偏光方向とがほぼ一致し、光の透過率が高く反射率が低い状態になる。透過率可変層28f’は、液晶材料層の両端に電圧が印加されれば、液晶材料の偏光方向が変化して偏向層の偏光方向と異なり、光の透過率が低く反射率が高い状態になる。
 電子ミラー2は、ディスプレイモードとミラーモードとを切り替えるための構成として、図5に示すように、駆動インターフェース(駆動I/F)25及び駆動部26をさらに有してもよい。駆動インターフェース25は、ディスプレイモードからミラーモードへ切り替える指示をコントローラ23から受けると、その指示に応じて、動作指令を生成して駆動部26へ供給する。駆動部26は、動作指令に従い、ミラー28を図8(a)に示す光の透過率が高い状態から図8(b)に示す光の透過率が低い状態に変更するように、透過率可変層28f’を駆動する。図8は、ディスプレイモードとミラーモードとの切り替えを示す図であり、図8(a)は、ディスプレイモードを示し、図8(b)は、ミラーモードを示す。
 ディスプレイモードでは、駆動部26が透過率可変層28f’及び電源PS2を接続するスイッチSW2をオフしており透過率可変層28f’が透過率の高く反射率の低い状態であるため、図8(a)に点線の矢印で示すように、車体6後方の被写体OBからの光がユーザの視点位置EYに届きにくい。また、コントローラ23がディスプレイ27及び電源PS1を接続するスイッチSW1をオンしておりディスプレイ27が動作し画面に画像を表示しているため、図8(a)に白抜きの矢印で示すように、ユーザの視点位置EYに、ディスプレイ27の表示画像が届きやすい。これにより、電子ミラー2は、撮像装置1で撮像された画像を表示するディスプレイとして機能する。
 ミラーモードでは、駆動部26が透過率可変層28f’及び電源PS2を接続するスイッチSW2をオンしており透過率可変層28f’が透過率の低く反射率の高い状態であるため、図8(b)に実線の矢印で示すように、車体6後方の被写体OBからの光がユーザの視点位置EYに届きやすい。また、コントローラ23がスイッチSW1をオフしておりディスプレイ27が停止し画面に画像を表示していない。これにより、電子ミラー2は、ミラーとして機能する。
 以上のように、第3の実施形態では、電子ミラーシステム3は、撮像装置1で故障が検知されたことに応じて、電子ミラー2を電気的な動作によりディスプレイモードからミラーモードへ切り替え可能である。これによっても、電子ミラーシステム3の利便性をさらに向上できる。
(第4の実施形態)
 次に、第4の実施形態にかかる電子ミラーシステムについて説明する。以下では、第1の実施形態~第3の実施形態と異なる部分を中心に説明する。
 第2の実施形態では、ディスプレイモードからミラーモードへ切り替えを撮像装置1の故障の有無及び種類に応じて行っているが、第4の実施形態では、さらに故障のレベルに応じて行う。
 具体的には、ディスプレイモードからミラーモードへの切り替えでは、図9に示すように、次の点で第2の実施形態と異なる処理が行われ得る。図9は、電子ミラーシステム3の動作を示すフローチャートである。
 電子ミラーシステム3において、撮像装置1は、故障の検知(S1)において、故障の有無及び故障の種類に加えて故障のレベルを検知し、故障の種類を示す故障信号を生成して電子ミラー2へ通知してもよい。
 例えば、フレームレートに関して、故障検知部114は、求められた1フレーム期間の時間的長さ又はフレームレートに応じて、フレームレートと複数の閾値THfr1,THfr2とを比較する。複数の閾値THfr1,THfr2は、
   0<THfr1<THfr2
の関係にあるものとする。故障検知部114は、フレームレートが閾値THfr1以上閾値THfr2未満であれば、「フレームレート低下」がレベルLV1で発生しているとしてとして、レジスタ114aのアドレスAD101に故障識別子FM1とレベルLV1を格納する。故障検知部114は、フレームレートが閾値THfr1未満であれば、「フレームレート低下」がレベルLV2で発生しているとして、レジスタ114aのアドレスAD101に故障識別子FM1とレベルLV2を格納する。故障検知部114は、フレームレートが閾値THfr2以上であれば、「フレームレート低下」が発生していないとしてレジスタ114aのアドレスAD101をNULLの状態にする。
 電子ミラー2において、コントローラ23は、故障が通知されると、故障の有無及び種類を特定する(S2)。コントローラ23は、故障信号を受けると、故障信号で示される故障の有無及び故障の種類を特定する。さらに、コントローラ23は、故障信号で故障のレベルが示されていれば、故障のレベルを特定する(S11)。コントローラ23は、故障の有無、故障の種類及び故障のレベルに応じて、ディスプレイモードからミラーモードへ切り替えるべきか否か判断する(S3)。
 例えば、コントローラ23は、故障信号で故障識別子FM1(図4参照)及び故障レベルLV1が示される場合、故障モード「フレームレート低下」がレベルLV1で発生しているが、このレベルLV1の故障がディスプレイモードを継続可能な故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM1(図4参照)及び故障レベルLV2が示される場合、故障モード「フレームレート低下」がレベルLV2で発生しているが、このレベルLV2の故障がディスプレイモードを継続すべきでない故障であると判断する。
 コントローラ23は、複数の故障信号で示される故障にディスプレイモードを継続すべきでない故障が含まれる場合、切り替えるべきであると判断する。コントローラ23は、複数の故障信号で示される故障がディスプレイモードを継続可能な故障であるかNULL(故障無し)である場合、切り替えるべきでないと判断する。コントローラ23は、すべての故障信号でNULLが示される場合、故障が発生していないとして、切り替えるべきでないと判断する。
 コントローラ23は、切り替えるべきでない場合(S3でNo)、S4,S5の処理を行い、切り替えるべき場合(S3でYes)、S6,S7の処理を行う点は、第2の実施形態と同様である。
 以上のように、第4の実施形態では、電子ミラーシステム3は、撮像装置1の故障の有無、故障の種類及び故障のレベルに応じて、電子ミラー2の動作をディスプレイモードからミラーモードへ切り替え可能である。これにより、電子ミラーシステム3の利便性をさらに向上できる。
(第5の実施形態)
 次に、第5の実施形態にかかる電子ミラーシステムについて説明する。以下では、第1の実施形態~第4の実施形態と異なる部分を中心に説明する。
 第5の実施形態では、ディスプレイモードからミラーモードへ切り替えを行った後の動作として、ミラーモードからディスプレイモードへ復帰する動作について説明する。
 具体的には、ミラーモードからディスプレイモードへの復帰では、図10に示すように、次の点で第2の実施形態と異なる処理が行われ得る。図10は、電子ミラーシステム3の動作を示すフローチャートである。
 コントローラ23は、故障の有無及び故障の種類に応じて、ミラーモードからディスプレイモードへ復帰すべきか否か判断する(S21)。例えば、コントローラ23は、複数の故障信号で示される故障にディスプレイモードを継続すべきでない故障が含まれる場合、復帰すべきでないと判断する。コントローラ23は、複数の故障信号で示される故障がディスプレイモードを継続可能な故障であるかNULL(故障無し)である場合、復帰すべきであると判断する。コントローラ23は、すべての故障信号でNULLが示される場合、故障が発生していないとして、復帰すべきであると判断する。
 コントローラ23は、復帰すべきでない場合(S21でNo)、電子ミラー2の動作モードとしてミラーモードを継続させる(S22)。
 コントローラ23は、復帰すべきである場合(S21でYes)、電子ミラー2の動作モードをミラーモードからディスプレイモードへ復帰させる(S23)。すなわち、コントローラ23は、ミラーモードからディスプレイモードへ切り替えるように駆動インターフェース25に指示する。駆動インターフェース25は、ミラーモードからディスプレイモードへ切り替える指示をコントローラ23から受けると、その指示に応じて、回転指令を生成して駆動部26へ供給する。駆動部26は、回転指令に従い、筐体28cを図6(b)に示す姿勢から図6(a)に示す姿勢に変更するように、回動部28aのモータを回転させる。
 そして、コントローラ23は、表示及び音声の少なくとも一方により、ミラーモードからディスプレイモードへの復帰に関する情報を報知する(S24)。例えば、コントローラ23は、複数の表示報知部29-1~29-15のすべてを消灯させることで、復帰を報知してもよい。コントローラ23は、音声報知部31(図2参照)からアラーム音又はメッセージ音を出力させることで、復帰を報知してもよい。コントローラ23は、ディスプレイ27(図2参照)の画面にメッセージを表示させることで、復帰を報知してもよい。
 以上のように、第5の実施形態では、電子ミラーシステム3は、撮像装置1の故障の有無及び故障の種類に応じて、電子ミラー2の動作をミラーモードからディスプレイモードへ復帰可能である。例えば、撮像装置1の故障が一時的な故障である場合、又は、撮像装置1が修理後の撮像装置又は別の撮像装置に交換された場合などにおいて、電子ミラー2の動作をミラーモードからディスプレイモードへ復帰させることができる。これにより、電子ミラーシステム3の利便性をさらに向上できる。
(第6の実施形態)
 次に、第6の実施形態にかかる電子ミラーシステムについて説明する。以下では、第1の実施形態~第5の実施形態と異なる部分を中心に説明する。
 第6の実施形態では、電子ミラーシステム3は、撮像装置1で故障が検知されたことに応じて電子ミラー2の接続先を撮像装置1から他の撮像装置4に切り替え可能に構成されることで、更なる利便性の向上を図る。
 具体的には、電子ミラーシステム3は、撮像装置4をさらに有する。撮像装置4は、図11に示すように、車両5に搭載される車載カメラであり、車体6の外部又は内部における撮像装置1に隣接する位置に配される。電子ミラーシステム3が搭載される車両を示す図である。撮像装置4は、撮像装置1の代替であり、撮像装置1が適正に動作している間は、動作を停止していてもよい。撮像装置4の構成は、図3に示すような撮像装置1と同様な構成であってもよいし、図3から故障検知部114,123が省略された構成であってもよい。
 電子ミラーシステム3において、撮像装置4及び電子ミラー2は、図12に示すように、通信媒体9を介して互いに通信可能に接続される。図12は、電子ミラーシステム3の構成を示す図である。通信媒体9は、シリアルケーブル等の通信ケーブルであってもよいし、ブルートゥース等の無線通信回線であってもよい。図12では、通信媒体9が通信ケーブルであり、通信媒体9の一端が撮像装置4のI/F部13に接続され他端が電子ミラー2のI/F部21に接続される構成が例示される。
 電子ミラー2は、通知された故障に応じて、主接続状態と補助接続状態とを切り替える。主接続状態は、電子ミラー2の通信可能な接続先が撮像装置1であり、撮像装置1で取得された画像を表示する状態である。補助接続状態は、電子ミラー2の通信可能な接続先が撮像装置4であり、撮像装置4で取得された画像を表示する状態である。
 電子ミラー2において、インターフェース部21は、図13に示すように、コネクタ部211に加えてコネクタ部213をさらに有し、コネクタ部213に通信媒体9を介して撮像装置4が接続される。
 初期状態において、インターフェース部21は、コントローラ23からの制御のもと、通信媒体8を介した撮像装置1との通信接続を確立する。通信接続が確立されると、インターフェース部21は、撮像装置1とコントローラ23との間の通信におけるインターフェース動作を行う。このとき、インターフェース部21は、コントローラ23からの制御のもと、通信媒体9を介した撮像装置4との通信接続を切断している。これにより、電子ミラー2は、主接続状態で動作する。
 コントローラ23は、故障信号を受けると、故障信号に応じて、撮像装置1の故障の有無を特定する。コントローラ23は、故障の有無に応じて、主接続状態から補助接続状態へ切り替え可能である。コントローラ23は、故障信号に応じて、撮像装置1の故障の有無に加えて、故障の種類を特定してもよい。コントローラ23は、故障の有無及び故障の種類に応じて、主接続状態から補助接続状態へ切り替え可能である。コントローラ23は、故障信号に応じて、撮像装置1の故障の有無及び故障の種類に加えて、故障のレベルを特定してもよい。コントローラ23は、故障の有無、故障の種類及び故障のレベルに応じて、主接続状態から補助接続状態へ切り替え可能である。
 主接続状態から補助接続状態へ切り替えをコントローラ23から指示された場合、インターフェース部21は、その指示に応じて、通信媒体8を介した撮像装置1との通信接続を切断するとともに、通信媒体9を介した撮像装置4との通信接続を確立する。通信接続が確立されると、インターフェース部21は、撮像装置9とコントローラ23との間の通信におけるインターフェース動作を行う。これにより、電子ミラー2は、補助接続状態で動作する。
 主接続状態から補助接続状態へ切り替えは、図14に示すように行われ得る。図14は、電子ミラーシステム3の動作を示すフローチャートである。
 電子ミラーシステム3において、撮像装置1は、故障を検知すると(S1)、故障を電子ミラー2へ通知する。撮像装置1は、故障の有無に加えて故障の種類を検知し、故障の種類を示す故障信号を生成して電子ミラー2へ通知してもよい。
 電子ミラー2において、コントローラ23は、故障が通知されると、故障の有無及び種類を特定する(S2)。コントローラ23は、故障信号を受けると、故障信号で示される故障の有無及び故障の種類を特定する。コントローラ23は、故障の有無及び故障の種類に応じて、主接続状態から補助接続状態へ切り替えるべきか否か判断する(S31)。コントローラ23は、複数の故障信号で示される故障の有無及び故障の種類に応じて、主接続状態から補助接続状態へ切り替えるべきか否か判断してもよい。
 例えば、コントローラ23は、故障信号で故障識別子FM1(図4参照)が示される場合、故障モード「フレームレート低下」が発生しているが、この故障が主接続状態を継続可能な故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM2が示される場合、故障モード「映像伝送異常」が発生しており、この故障が主接続状態を継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM6が示される場合、故障モード「感度異常」が発生しており、この故障が主接続状態を継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM7が示される場合、故障モード「ダイナミックレンジ異常」が発生しており、この故障が主接続状態を継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM8が示される場合、故障モード「リニアリティ異常」が発生しており、この故障が主接続状態を継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM13が示される場合、故障モード「表示位置ずれ」が発生しており、この故障が主接続状態を継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM14が示される場合、故障モード「画像固着」が発生しており、この故障が主接続状態を継続すべきでない故障であると判断する。
 コントローラ23は、故障信号で故障識別子FM15が示される場合、故障モード「左右反転異常」が発生しており、この故障が主接続状態を継続すべきでない故障であると判断する。
 コントローラ23は、複数の故障信号で示される故障に主接続状態を継続すべきでない故障が含まれる場合、切り替えるべきであると判断する。コントローラ23は、複数の故障信号で示される故障が主接続状態を継続可能な故障であるかNULL(故障無し)である場合、切り替えるべきでないと判断する。コントローラ23は、すべての故障信号でNULLが示される場合、故障が発生していないとして、切り替えるべきでないと判断する。
 コントローラ23は、切り替えるべきでない場合(S31でNo)、電子ミラー2の動作状態として主接続状態を継続させ(S33)、表示及び音声の少なくとも一方により故障に関する情報を報知する(S5)。
 コントローラ23は、切り替えるべきである場合(S31でYes)、電子ミラー2の動作状態として主接続状態から補助接続状態へ切り替える(S33)。すなわち、コントローラ23は、主接続状態から補助接続状態へ切り替えるようにインターフェース部21に指示する。インターフェース部21は、主接続状態から補助接続状態へ切り替える指示をコントローラ23から受けると、その指示に応じて、通信媒体8を介した撮像装置1との通信接続を切断し、通信媒体9を介した撮像装置4との通信接続を確立する。そして、コントローラ23は、表示及び音声の少なくとも一方により故障に関する情報を報知する(S7)。
 以上のように、第6の実施形態では、電子ミラーシステム3は、撮像装置1で故障が検知されたことに応じて、電子ミラー2を主接続状態から補助接続状態へ切り替え可能である。これにより、電子ミラー2の接続先を撮像装置1から他の撮像装置4へ切り替え可能であり、電子ミラーシステム3の利便性をさらに向上できる。
(第7の実施形態)
 次に、第7の実施形態にかかる電子ミラーシステムについて説明する。以下では、第1の実施形態~第6の実施形態と異なる部分を中心に説明する。
 第7の実施形態では、主接続状態から補助接続状態へ切り替えを行った後の動作として、補助接続状態から主接続状態へ復帰する動作について説明する。
 具体的には、補助接続状態から主接続状態への復帰では、図15に示すように、次の点で第6の実施形態と異なる処理が行われ得る。図15は、電子ミラーシステム3の動作を示すフローチャートである。
 コントローラ23は、故障の有無及び故障の種類に応じて、補助接続状態から主接続状態へ復帰すべきか否か判断する(S41)。例えば、コントローラ23は、複数の故障信号で示される故障に主接続状態を継続すべきでない故障が含まれる場合、復帰すべきでないと判断する。コントローラ23は、複数の故障信号で示される故障が主接続状態を継続可能な故障であるかNULL(故障無し)である場合、復帰すべきであると判断する。コントローラ23は、すべての故障信号でNULLが示される場合、故障が発生していないとして、復帰すべきであると判断する。
 コントローラ23は、復帰すべきでない場合(S41でNo)、電子ミラー2の動作状態として補助接続状態を継続させる(S42)。
 コントローラ23は、復帰すべきである場合(S41でYes)、電子ミラー2の動作状態として補助接続状態から主接続状態へ復帰させる(S43)。すなわち、コントローラ23は、補助接続状態から主接続状態へ切り替えるようにインターフェース部21に指示する。インターフェース部21は、補助接続状態から主接続状態へ切り替える指示をコントローラ23から受けると、その指示に応じて、通信媒体9を介した撮像装置4との通信接続を切断し、通信媒体8を介した撮像装置1との通信接続を確立する。
 そして、コントローラ23は、表示及び音声の少なくとも一方により、補助接続状態から主接続状態への復帰に関する情報を報知する(S44)。例えば、コントローラ23は、複数の表示報知部29-1~29-15のすべてを消灯させることで、復帰を報知してもよい。コントローラ23は、音声報知部31(図2参照)からアラーム音又はメッセージ音を出力させることで、復帰を報知してもよい。コントローラ23は、ディスプレイ27(図2参照)の画面にメッセージを表示させることで、復帰を報知してもよい。
 以上のように、第7の実施形態では、電子ミラーシステム3は、撮像装置1の故障の有無及び故障の種類に応じて、電子ミラー2の動作を補助接続状態から主接続状態へ復帰可能である。例えば、撮像装置1の故障が一時的な故障である場合、又は、撮像装置1が修理後の撮像装置又は別の撮像装置に交換された場合などにおいて、電子ミラー2の動作を補助接続状態から主接続状態へ復帰させることができる。これにより、電子ミラーシステム3の利便性をさらに向上できる。
 本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
 1 撮像装置
 2 電子ミラー
 3 電子ミラーシステム
 4 撮像装置
 5 車両
 6 車体
 7 車室
 8 通信媒体
 9 通信媒体
 11 イメージセンサ
 12 シグナルプロセッサ(ISP)
 13 インターフェース部(I/F部)
 21 インターフェース部(I/F部)
 23 コントローラ
 24 映像処理部
 25 駆動インターフェース(駆動I/F)
 26 駆動部
 27 ディスプレイ
 28 ミラー
 29-1~29-15 表示報知部
 31 音声報知部
 111 画素部
 112 インターフェース(I/F)
 113 駆動制御部
 114 故障検知部
 121 信号処理部
 122 インターフェース(I/F)
 123 故障検知部
 131 シリアライザ
 211 コネクタ部
 212 デシリアライザ
 213 コネクタ部

Claims (13)

  1.  画像を取得する撮像装置と、
     前記撮像装置で取得された画像を表示可能である電子ミラーと、
    を備え
     前記撮像装置は、
     故障を検知する検知部と、
     検知された故障を前記電子ミラーに通知する通知部と、
    を有し、
     前記電子ミラーは、
     通知された故障に関する情報を報知する報知部を有する
    電子ミラーシステム。
  2.  前記検知部は、検知された故障の種類を識別可能な故障信号を生成し、
     前記通知部は、生成された故障信号を通知し、
     前記報知部は、通知された故障信号に応じて、前記情報を故障の種類が識別可能な形態で報知する
    請求項1に記載の電子ミラーシステム。
  3.  前記撮像装置は、イメージセンサ及びシグナルプロセッサを有し、
     前記検知部は、
     前記イメージセンサの故障を検知する第1の検知部と
     前記シグナルプロセッサの故障を検知する第2の検知部と、
    を含む
    請求項1に記載の電子ミラーシステム。
  4.  前記イメージセンサは、画素信号を出力する第1の端子と前記イメージセンサの故障を示す信号を出力する第2の端子とを有し、
     前記シグナルプロセッサは、処理後の信号を出力する第3の端子と前記シグナルプロセッサの故障を示す信号を出力する第4の端子とを有する
    請求項3に記載の電子ミラーシステム。
  5.  前記報知部は、音声及び表示の少なくとも一方により前記情報を報知する
    請求項1に記載の電子ミラーシステム。
  6.  前記電子ミラーは、
     通知された故障に応じて、前記撮像装置で撮像された画像を表示するディスプレイとして機能する第1のモードとミラーとして機能する第2のモードとを切り替えるコントローラをさらに有する
    請求項1に記載の電子ミラーシステム。
  7.  前記コントローラは、通知された故障の種類に応じて、前記第1のモードと前記第2のモードとを切り替える
    請求項6に記載の電子ミラーシステム。
  8.  前記コントローラは、通知された故障の種類と故障のレベルとに応じて、前記第1のモードと前記第2のモードとを切り替える
    請求項6に記載の電子ミラーシステム。
  9.  第2の撮像装置をさらに備え、
     前記電子ミラーは、
     通知された故障に応じて、前記撮像装置で取得された画像を表示する第1の状態と前記第2の撮像装置で取得された画像を表示する第2の状態とを切り替えるコントローラをさらに有する
    請求項1に記載の電子ミラーシステム。
  10.  前記コントローラは、通知された故障の種類に応じて、前記第1の状態と前記第2の状態とを切り替える
    請求項9に記載の電子ミラーシステム。
  11.  前記コントローラは、通知された故障の種類と故障のレベルとに応じて、前記第1の状態と前記第2の状態とを切り替える
    請求項9に記載の電子ミラーシステム。
  12.  故障を検知する検知部と
     検知された故障を電子ミラーに通知可能である通知部と、
    を備えた撮像装置。
  13.  故障を検知する検知部と検知された故障を通知する通知部とを有する撮像装置における前記通知部に接続可能であるコネクタ部と、
     前記コネクタ部を介して通知された故障に関する情報を報知する報知部と、
    を備えた電子ミラー。
PCT/JP2021/040309 2021-01-20 2021-11-01 電子ミラーシステム、撮像装置、及び電子ミラー WO2022158080A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/306,741 US20230269366A1 (en) 2021-01-20 2023-04-25 Electronic mirror system, imaging device, and electronic mirror

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021007393A JP2022111754A (ja) 2021-01-20 2021-01-20 電子ミラーシステム、撮像装置、及び電子ミラー
JP2021-007393 2021-01-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/306,741 Continuation US20230269366A1 (en) 2021-01-20 2023-04-25 Electronic mirror system, imaging device, and electronic mirror

Publications (1)

Publication Number Publication Date
WO2022158080A1 true WO2022158080A1 (ja) 2022-07-28

Family

ID=82548670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040309 WO2022158080A1 (ja) 2021-01-20 2021-11-01 電子ミラーシステム、撮像装置、及び電子ミラー

Country Status (3)

Country Link
US (1) US20230269366A1 (ja)
JP (1) JP2022111754A (ja)
WO (1) WO2022158080A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003174581A (ja) * 2001-12-07 2003-06-20 Canon Inc 撮像装置
JP2010188903A (ja) * 2009-02-19 2010-09-02 Denso Corp 車外映像表示システムおよび車両
WO2016056208A1 (ja) * 2014-10-07 2016-04-14 パナソニックIpマネジメント株式会社 電子ミラー装置
KR102093702B1 (ko) * 2018-12-19 2020-03-26 주식회사 유라코퍼레이션 사이드 미러 대체용 카메라 모듈

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003174581A (ja) * 2001-12-07 2003-06-20 Canon Inc 撮像装置
JP2010188903A (ja) * 2009-02-19 2010-09-02 Denso Corp 車外映像表示システムおよび車両
WO2016056208A1 (ja) * 2014-10-07 2016-04-14 パナソニックIpマネジメント株式会社 電子ミラー装置
KR102093702B1 (ko) * 2018-12-19 2020-03-26 주식회사 유라코퍼레이션 사이드 미러 대체용 카메라 모듈

Also Published As

Publication number Publication date
JP2022111754A (ja) 2022-08-01
US20230269366A1 (en) 2023-08-24

Similar Documents

Publication Publication Date Title
US11159759B2 (en) Solid-state imaging device, method of driving solid-state imaging device, and imaging system that can detect a failure while performing capturing
JP4818112B2 (ja) 固体撮像装置、カメラ、自動車および監視装置
US11708030B2 (en) Auto-switch display intelligent rearview mirror system
US10567690B2 (en) Imaging apparatus, imaging system, and moving body having capacitance of an electric path extending from a supply unit to a selection unit
WO2018092709A1 (ja) 撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム
US11214269B2 (en) In-vehicle information processing device, in-vehicle information processing system, and information processing method
KR101795180B1 (ko) 페일 세이프 기능을 갖는 차량 측후방 모니터링 장치 및 방법
US20200130583A1 (en) Smart camera mode intelligent rearview mirror
WO2022158080A1 (ja) 電子ミラーシステム、撮像装置、及び電子ミラー
JP2015222927A (ja) 映像表示装置、映像切替装置、及び映像表示方法
JP2015185923A (ja) 撮像装置および車載カメラシステム
US20110181406A1 (en) Display system and vehicle having the same
KR20140122967A (ko) 영상 표시 장치 및 그 방법
KR20190037438A (ko) 차량 주변 감시 장치
US20200411572A1 (en) Photoelectric conversion apparatus, photoelectric conversion system, and moving body
KR20140142992A (ko) 영상 신호 처리 장치 및 방법
CN113119866A (zh) 一种基于流媒体的后视镜显示方法及显示装置
JP5940248B2 (ja) 車両の画像処理システム
CN114379462B (zh) 用于车辆的侧摄像头及其控制方法
KR102336049B1 (ko) 자동차 안전 주행을 위한 카메라 영상 떨림 보정 장치
JP7300624B2 (ja) 電子ミラーカメラシステム
US20230098018A1 (en) Onboard vehicle-powered wireless rearview ahd transmission apparatus
US11258975B2 (en) Solid-state imaging device and electronic device
US20240107174A1 (en) Imaging device and image display system
KR20170075141A (ko) 전자 제어 유닛을 공유하는 차량용 영상 감시 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921183

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921183

Country of ref document: EP

Kind code of ref document: A1