WO2018092709A1 - 撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム - Google Patents

撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム Download PDF

Info

Publication number
WO2018092709A1
WO2018092709A1 PCT/JP2017/040730 JP2017040730W WO2018092709A1 WO 2018092709 A1 WO2018092709 A1 WO 2018092709A1 JP 2017040730 W JP2017040730 W JP 2017040730W WO 2018092709 A1 WO2018092709 A1 WO 2018092709A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
blinking
imaging
light emitting
image
Prior art date
Application number
PCT/JP2017/040730
Other languages
English (en)
French (fr)
Inventor
茂和 宮垣
金谷　昌宣
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to DE112017005840.6T priority Critical patent/DE112017005840T5/de
Priority to US16/344,834 priority patent/US20190253603A1/en
Publication of WO2018092709A1 publication Critical patent/WO2018092709A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Definitions

  • the present disclosure relates to an imaging apparatus state monitoring apparatus, an imaging apparatus state monitoring method, and a program.
  • in-vehicle image display systems utilizing an in-vehicle camera
  • an electronic mirror system in which an in-vehicle camera captures an image of an area outside a vehicle that has been conventionally reflected by an optical mirror and displays the image on a display device.
  • the electronic mirror system has a vehicle-mounted camera and a display device.
  • image freeze can be considered as a malfunction that can occur in an electronic mirror system.
  • Image freeze means that the frame memory data that was originally updated is not updated because the memory controller, control software, etc. of the electronic mirror system, or the image from the in-vehicle camera is not updated due to the problem, and the time-sequential data is not updated. Is an event that continues to be displayed.
  • Patent Document 1 As an countermeasure against image freeze, an electronic mirror system having means for detecting whether image freeze has occurred has been proposed (see Patent Document 1).
  • the ECU receives image data, adds image frame identification information during a blanking period of the image data, and collates the identification information on the display side, thereby detecting the occurrence of image freeze.
  • a technique is disclosed.
  • the present disclosure provides an improved imaging device state monitoring device, an imaging device state monitoring method, and a program for detecting whether or not an image freeze has occurred.
  • the imaging device state monitoring device monitors the imaging state of the imaging unit.
  • the imaging device state monitoring device includes an image acquisition unit, a blinking determination unit, and an abnormality processing unit.
  • the image acquisition unit acquires a captured image captured by an imaging unit that includes a blinking light emitting unit that repeats blinking in an imaging range.
  • the blink determination unit determines whether the captured image includes a change corresponding to blink. If it is determined that the captured image does not include a change corresponding to blinking, the abnormality processing unit executes a response process for the abnormality.
  • An imaging apparatus state monitoring method performs a first step of acquiring a captured image, a second step of determining whether or not a change is included, and an abnormality handling process And a third step.
  • a captured image obtained by the imaging unit capturing a blinking light emitting unit that repeatedly blinks is acquired.
  • the second step of determining whether or not a change is included it is determined whether or not a change corresponding to blinking is included in the captured image.
  • the third step of executing the abnormality handling process when it is determined that the captured image does not include a change corresponding to blinking, the abnormality handling process is executed.
  • a program includes a first step of acquiring a captured image in a computer included in the imaging device state monitoring device, a second step of determining whether or not a change is included, And a third step of executing processing for handling an abnormality.
  • a captured image obtained by the imaging unit capturing a blinking light emitting unit that repeatedly blinks is acquired.
  • the second step of determining whether or not a change is included it is determined whether or not a change corresponding to blinking is included.
  • the third step of executing the abnormality handling process when it is determined that the captured image does not include a change corresponding to blinking, the abnormality handling process is executed.
  • an improved imaging device state monitoring device an imaging device state monitoring method, and a program for detecting whether or not an image freeze has occurred.
  • FIG. 1 is a configuration diagram of an electronic mirror system according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of an installation state of the electronic mirror system according to the present disclosure.
  • FIG. 3 is a flowchart illustrating an example of the operation of the electronic mirror system according to the first embodiment.
  • FIG. 4A is a diagram illustrating an example of a captured image obtained by the imaging unit capturing the blinking light-emitting unit during lighting according to the present disclosure.
  • FIG. 4B is a diagram illustrating an example of a captured image in which the imaging unit captures the blinking light emitting unit when the light is turned off according to the present disclosure.
  • FIG. 5 is a flowchart showing an example of the process of step S15 of FIG. FIG.
  • FIG. 6A is a diagram illustrating a captured image of the imaging unit during normal operation.
  • FIG. 6B is a diagram illustrating a captured image of the imaging unit when an abnormality occurs.
  • FIG. 7A is a diagram illustrating a display range of a captured image during normal operation.
  • FIG. 7B is a diagram illustrating a display range of a captured image when an abnormality occurs.
  • FIG. 7C is a diagram illustrating an adjusted display range of a captured image when an abnormality occurs.
  • FIG. 8 is a configuration diagram of an electronic mirror system according to the second embodiment.
  • FIG. 9 is a configuration diagram of an electronic mirror system according to the third embodiment.
  • FIG. 10 is a diagram illustrating an example of a hardware configuration of a computer.
  • the present disclosure will be described in detail with reference to the drawings.
  • the first to third embodiments will be described by taking an electronic mirror system to which the imaging apparatus state monitoring apparatus of the present disclosure is applied as an example, but the present disclosure is not limited to the electronic mirror system.
  • the present disclosure can be applied to an automatic driving system that refers to a captured image of an imaging unit.
  • FIG. 1 is a configuration diagram of an electronic mirror system 1A according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of an installation state of the electronic mirror system 1A according to the present disclosure.
  • the electronic mirror system 1 ⁇ / b> A includes a blinking light emitting unit 2, an imaging unit 3, a control unit 4, an image processing unit 5, and a display unit 6.
  • the imaging device state monitoring device 100A (imaging device state monitoring device 100) according to the first embodiment includes at least a control unit 4 as illustrated in FIG.
  • the imaging device state monitoring device 100A according to the first embodiment may be built in the same housing as the electronic mirror (display unit 6) of the electronic mirror system 1A, or built in the same housing as the imaging unit 3. Alternatively, it may be a separate module different from both the imaging unit 3 and the display unit 6.
  • the blinking light emitting unit 2 repeats blinking at a predetermined blinking cycle. At least a part of the emission band of the flashing light emitting unit 2 is included in the imaging band of the imaging unit 3.
  • the blinking light emitting unit 2 includes a light emitting source that can blink, such as a visible light LED that emits visible light or an infrared LED that emits infrared light.
  • the blinking light emitting unit 2 is, for example, an LED 2-1 and an LED 2-2 provided around the left and right door knobs of the vehicle V.
  • the blinking light emitting unit 2 has a configuration in which the periphery of the light emitting unit is surrounded by a hood provided with a low-reflective or light-absorbing material. If it carries out like this, the imaging part 3 can image the blink of the blinking light emission part 2 more clearly.
  • the blinking light emitting unit 2 is provided independently of other components of the electronic mirror system 1A.
  • the blinking light emitting unit 2 includes a battery (not shown) and a control circuit (not shown), and the control circuit that receives power supply from the battery also sets the light emitting unit that receives power supply from the battery to a predetermined level. Blink in cycles.
  • the blinking light emitting unit 2 may receive power from a vehicle battery without incorporating a battery.
  • a blinking light emitting unit included in an antitheft device provided in a vehicle may be used as the blinking light emitting unit 2, for example, a blinking light emitting unit included in an antitheft device provided in a vehicle may be used.
  • the imaging unit 3 captures an imaging range including the flashing light emitting unit 2 at a predetermined frame rate (for example, 100 frames / second), and generates captured image data.
  • the imaging range of the imaging unit 3 is not particularly limited as long as the blinking light emitting unit 2 and a part of the vehicle enter the imaging range.
  • the imaging unit 3 is, for example, a left side camera 3-1 and a right side camera 3-2 that capture an image displayed on an electronic mirror that the vehicle V has and is used instead of the left and right side mirrors.
  • the control unit 4 includes a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the CPU reads a program corresponding to the processing content from the ROM and expands it in the RAM, and performs centralized control of the operation of each block of the control unit 4 in cooperation with the expanded program.
  • the control unit 4 functions as a blinking determination unit 7, a blinking position specifying unit 8, an abnormality processing unit 9, and an image acquisition unit 33.
  • the control unit 4 acquires a captured image via an image acquisition unit 33 that acquires a captured image from the imaging unit 3.
  • the image acquisition unit 33 is an input interface that receives captured image data transmitted from the imaging unit 3.
  • the image processing unit 5 performs image processing on the captured image of the imaging unit 3.
  • the image processing unit 5 outputs a display image obtained by correcting the display range in the captured image of the imaging unit 3 to the display unit 6 in accordance with an instruction from the image correction unit 10 and displays the display image.
  • the image processing unit 5 enhances a noise filter that removes noise by performing spatial filtering, a contrast correction circuit that converts an input image signal into an output image signal according to a gamma curve, and a contour portion. It has a known image processing circuit such as a contour correction circuit.
  • the image processing unit 5 may be built in the same casing as the electronic mirror (display unit 6) of the electronic mirror system 1A, or may be built in the same casing as the imaging unit 3, and the imaging unit 3 and the display unit 6 It may be an independent module different from any of the above.
  • the display unit 6 displays the captured image image-processed by the image processing unit 5 to the vehicle occupant.
  • the display unit 6 also functions as a notification unit that notifies an occupant (for example, a driver) of occurrence of image freeze, abnormality of the flashing light emitting unit 2, abnormality of the imaging unit 3, and the like.
  • the display unit 6 is an electronic mirror (display device) included in the electronic mirror system 1A.
  • the blinking determination unit 7 determines whether the captured image acquired from the imaging unit 3 includes a change corresponding to the blinking of the blinking light emitting unit 2. In one example, the blinking determination unit 7 selects the first frame in which the blinking light emitting unit 2 is lit among the frames included in the captured image data acquired from the imaging unit 3 within a predetermined period (for example, 1 second). Whether or not the blinking light emitting unit 2 is blinking is determined based on the ratio between the number and the number of the second frame in which the blinking light emitting unit 2 is turned off.
  • the blinking determination unit 7 determines that the blinking light emitting unit 2 is blinking. For example, when the ratio is equal to or less than ⁇ ( ⁇ is a constant satisfying 0 ⁇ ⁇ 1), the blinking determination unit 7 determines that the blinking light emitting unit 2 is turned off. The blink determination unit 7 determines whether or not the flashing light emitting unit 2 is blinking, and then outputs a signal indicating the determination result to the abnormality processing unit 9.
  • the blinking position identifying unit 8 identifies the blinking position of the blinking light emitting unit 2 in the captured image of the imaging unit 3.
  • the blinking position specifying unit 8 specifies the blinking position of the blinking light emitting unit 2 in the captured image of the imaging unit 3 using the coordinates in the captured image.
  • the blinking position specifying unit 8 divides the captured image into several areas, and specifies the blinking position of the flashing light emitting unit 2 in the captured image of the imaging unit 3 using the area to which the flashing light emitting unit 2 belongs. To do.
  • the blinking determination unit 7 uses the blinking position of the blinking light emitting unit 2 specified by the blinking position specifying unit 8 to turn on the blinking light emitting unit in the frame included in the captured image data acquired from the imaging unit 3. Whether it is off or not.
  • the abnormality processing unit 9 performs a response process when an abnormality occurs in the flashing light emitting unit 2 or the imaging unit 3.
  • the abnormalities to be processed are, for example, the occurrence of image freeze, the abnormalities of the flashing light emitting unit 2, and the abnormalities of the imaging unit 3.
  • the abnormality of the flashing light-emitting unit 2 means that the flashing light-emitting unit 2 functions due to, for example, a failure of the flashing light-emitting unit 2 due to some cause, or dirt such as mud or snow attached to the flashing light-emitting unit 2. It refers to the state that has stopped.
  • the abnormality of the imaging unit 3 indicates, for example, a state where the imaging unit 3 has deviated or tilted from the original set position for some reason.
  • the abnormality processing unit 9 reboots the electronic mirror system 1A (or the imaging device state monitoring device 100A) according to an instruction from the blinking determination unit 7 (restarting, powering on after powering off).
  • the abnormality processing unit 9 displays (notifies) the abnormal state on the display unit 6 functioning as a notification unit in response to an instruction from the blink determination unit 7.
  • the image correction unit 10 corrects the display range of the captured image of the imaging unit 3.
  • the display range is a range displayed by the display unit 6 in the captured image.
  • the image correction unit 10 corrects the display range by instructing the image processing unit 5 to correct the display range in the captured image of the imaging unit 3.
  • the display unit 6 functions as an electronic mirror that allows an occupant to visually recognize the captured image of the imaging unit 3 by displaying the display image generated by the image correction unit 10.
  • the image correction unit 10 may be built in the same housing as the electronic mirror (display unit 6) of the electronic mirror system 1A, or may be built in the same housing as the imaging unit 3, and the imaging unit 3 and the display unit 6 may be incorporated. It may be an independent module different from any of the above.
  • FIG. 3 is a flowchart showing an example of the operation of the electronic mirror system 1A according to the first embodiment. This process is realized, for example, when the CPU of the electronic mirror system 1A reads and executes a program stored in the ROM when the vehicle engine is started.
  • step S1 the blinking light emitting unit 2 starts blinking.
  • the trigger for the blinking light-emitting unit 2 to start blinking can be set when the battery is connected to the built-in battery, when the accessory power of the vehicle is turned on, or when the engine of the vehicle is started.
  • any of the three triggers may be used.
  • either of the latter two triggers can be used.
  • the blinking light emitting unit 2 starts blinking at the moment when it is connected to the built-in battery regardless of the operating state of the engine of the vehicle.
  • the blinking light emitting unit 2 starts blinking at the moment when the accessory power of the vehicle is turned on regardless of the operating state of the engine of the vehicle.
  • the blinking light emitting unit 2 is supplied with electric power and starts blinking as the vehicle engine is started.
  • the imaging cycle (reciprocal of the frame rate) of the imaging unit 3 is not an integral multiple of the blinking cycle of the flashing light emitting unit 2, and the blinking cycle of the flashing light emitting unit 2 is an integral multiple of the imaging cycle of the imaging unit 3.
  • the imaging cycle is 10 milliseconds, so the blinking cycle of the blinking light emitting unit 2 is, for example, 21 milliseconds. In this way, it is possible to avoid the blink determination unit 7 from erroneously determining that the blinking light emitting unit 2 is out of order due to the imaging timing of the imaging unit 3 overlapping the extinguishing timing of the blinking light emitting unit 2.
  • the imaging unit 3 images the imaging range.
  • the imaging range is the vehicle side rear including a part of the vehicle.
  • FIG. 4A is an example of a captured image in which the imaging unit 3 captures the flashing light-emitting unit 2 at the time of lighting according to the present disclosure.
  • the blinking light emitting unit 2 is lit (state S1).
  • FIG. 4B is an example of a captured image in which the imaging unit 3 captures the blinking light emitting unit 2 when the light is turned off according to the present disclosure.
  • the captured image I2 captured by the imaging unit 3 the blinking light emitting unit 2 is turned off (state S2).
  • the captured image of the imaging unit 3 is reflected so that the blinking of the flashing light emitting unit 2 can be determined.
  • step S3 the control unit 4 specifies the blinking position of the blinking light emitting unit 2 in the captured image of the imaging unit 3, and detects a change corresponding to blinking (processing as the blinking determination unit 7 and the blinking position specifying unit 8).
  • the blinking position specifying unit 8 observes a change in luminance value in each pixel of a frame included in the captured image data acquired from the imaging unit 3 within a predetermined period (for example, 1 second).
  • the blinking position specifying unit 8 specifies a pixel having the largest change in luminance value.
  • the blinking position specifying unit 8 specifies the position of the pixel as the blinking position of the blinking light emitting unit 2 in the captured image.
  • the blinking determination unit 7 determines, for each frame, whether the blinking light emitting unit 2 is turned on or off based on the luminance value of the pixel at the blinking position specified by the blinking position specifying unit 8.
  • the processing load may be reduced by not using the determination for all frames but using the integrated value within a certain time or performing the determination with a certain time interval.
  • the blinking position specifying unit 8 observes a change in luminance value only in the assumed range.
  • the blinking position of the flashing light emitting unit 2 can be specified with a smaller calculation amount. For example, when the blinking position specifying unit 8 cannot identify the blinking position of the flashing light emitting unit 2 within the assumed range, the assumed range is expanded a little and the change in the luminance value is observed again. Further, for example, when the blinking position specifying unit 8 can identify the blinking position of the blinking light emitting unit 2 in the assumed range, the assumed range is slightly narrowed in the next observation.
  • step S4 the control unit 4 determines whether or not the blinking position has been specified (processing as the blinking position specifying unit 8). If the blinking position is not specified (step S4: No), the process proceeds to step S8. On the other hand, when the blinking position is specified (step S4: Yes), the process proceeds to step S5. In one example, if the blinking position is not specified (step S4: No), steps S3 to S4 may be repeated a predetermined number of times before proceeding to step S8. If it carries out like this, the specific precision of the blinking position of the blinking light emission part 2 can be raised more.
  • step S5 the control unit 4 determines whether or not a change corresponding to blinking of the blinking light emitting unit 2 is detected (processing as the blinking determination unit 7).
  • step S5: Yes the process proceeds to step S15.
  • step S5: No the process proceeds to step S6.
  • steps S3 to S5 may be repeated a predetermined number of times before proceeding to step S6. If it carries out like this, the precision of the detection of the change contained in the captured image corresponding to blinking of the blinking light emission part 2 can be improved more.
  • step S6 the control unit 4 determines whether or not all the blinking light emitting units 2 are extinguished (turned off) in the captured image acquired from the imaging unit 3 in step S3 (processing as the blinking determination unit 7). If it is determined that all of them are not extinguished (step S6: No), the blinking determination unit 7 determines that an image freeze has occurred, and proceeds to step S7.
  • step S7 the control unit 4 performs image freeze processing (processing as the abnormality processing unit 9).
  • the abnormality processing unit 9 causes the display unit 6 to display a warning that an image freeze has occurred.
  • a warning is displayed on the display unit 6, and the captured image of the imaging unit 3 is not displayed.
  • the abnormality processing unit 9 may display a warning on the display unit 6 that prompts the occupant to reboot the electronic mirror system 1A (or the imaging device state monitoring device 100A), or reboots. Also good.
  • step S6 If it is determined in step S6 that all of them are extinct (step S6: Yes), in addition to the possibility that an image freeze has occurred, the lighting of the flashing light emitting unit 2 may not be detected due to an abnormality in the flashing light emitting unit 2 Is also possible. Therefore, in step S8, the control unit 4 reboots the electronic mirror system 1A (or the imaging device state monitoring device 100A) (processing as the abnormality processing unit 9).
  • step S9 the control unit 4 again identifies the blinking position of the blinking light emitting unit 2 in the captured image of the imaging unit 3, and detects a change corresponding to blinking (as the blinking determination unit 7 and the blinking position specification unit 8). processing). Since the processing content of step S9 is the same processing content as step S3, description is abbreviate
  • step S10 the control unit 4 determines again whether or not the blinking position has been specified (processing as the blinking position specifying unit 8). If the blinking position is not specified (step S10: No), it is automatically determined whether an abnormality of the flashing light emitting unit 2 has occurred, an image freeze has occurred, or an abnormality of the imaging unit 3 has occurred. Have difficulty.
  • step S11 the control unit 4 performs processing for responding to the abnormality of the flashing light emitting unit 2, processing for image freeze, or processing for processing the abnormality of the imaging unit 3 (processing as the abnormality processing unit 9).
  • the abnormality processing unit 9 causes the display unit 6 to display a warning that prompts the occupant to check the status of the flashing light emitting unit 2 and the imaging unit 3.
  • a warning is displayed on the display unit 6, and the captured image of the imaging unit 3 is not displayed.
  • the abnormality processing unit 9 may cause the display unit 6 to display a warning that prompts the occupant to reboot the electronic mirror system 1A (or the imaging device state monitoring device 100A), or may reboot. .
  • step S12 the control unit 4 determines again whether or not a change corresponding to the blinking of the blinking light emitting unit 2 is detected (flashing determination unit 7). As a process). When a change corresponding to blinking is detected (step S12: Yes), the process proceeds to step S15. On the other hand, when a change corresponding to blinking is not detected (step S12: No), in step S13, the control unit 4 again includes all the flashing light emitting units 2 in the captured image acquired from the imaging unit 3 in step S9. It is determined whether or not it has been extinction (processing as the flicker determination unit 7).
  • step S13 when it is determined that the image is not completely erased (step S13: No), the control unit 4 determines that an image freeze has occurred, and proceeds to step S7 (processing as the blink determination unit 7). If it is determined in step S13 that all have been destroyed (step S13: Yes), it is difficult to automatically determine whether an abnormality of the flashing light emitting unit 2 has occurred or an image freeze has occurred.
  • step S14 the control unit 4 performs a process for responding to the abnormality of the flashing light emitting unit 2 or a process of image freeze (processing as the abnormality processing unit 9).
  • the abnormality processing unit 9 causes the display unit 6 to display a warning that prompts the occupant to confirm the state of the flashing light emitting unit 2.
  • the informed occupant can determine whether the image freeze or the abnormality of the blinking light emitting unit 2 has occurred, even if the electronic mirror system 1A does not.
  • a warning is displayed on the display unit 6, and the captured image of the imaging unit 3 is not displayed.
  • the abnormality processing unit 9 may cause the display unit 6 to display a warning that prompts the occupant to reboot the electronic mirror system 1A (or the imaging device state monitoring device 100A), or may reboot. .
  • step S15 the control unit 4 corrects the display range and detects an abnormality in the imaging unit 3 based on the blinking position (processing as the blinking determination unit 7 and the image correction unit 10).
  • the processing content of step S15 will be described later with reference to FIG.
  • step S16 the control unit 4 determines whether or not an abnormality of the imaging unit 3 has been detected (processing as the blinking determination unit 7).
  • step S17 the control part 4 performs the response
  • the abnormality processing unit 9 causes the display unit 6 to display a warning that prompts the occupant to check the state of the imaging unit 3.
  • step S17 the warning is displayed on the display unit 6, and the captured image of the imaging unit 3 is not displayed.
  • the abnormality processing unit 9 may cause the display unit 6 to display a warning that prompts the occupant to reboot the electronic mirror system 1A (or the imaging device state monitoring device 100A), or may reboot. .
  • step S18 the control unit 4 permits display of the captured image by the display unit 6 (processing as the abnormality processing unit 9). Thereby, when no abnormality is detected, the occupant can use the display unit 6 as an electronic mirror. Next, the process returns to step S2.
  • steps S15 to S17 are omitted. be able to.
  • FIG. 5 is a flowchart showing an example of the process of step S15 of FIG. This process is realized, for example, when the CPU of the electronic mirror system 1A reads and executes a program stored in the ROM when the vehicle engine is started.
  • the control unit 4 determines whether or not the current position of the blinking light emitting unit 2 in the captured image of the imaging unit 3 is a specified position (processing as the blinking determination unit 7).
  • the blinking determination unit 7 includes a nonvolatile memory (not shown) in which information indicating a specified position of the blinking light emitting unit 2 (for example, coordinates and areas in a captured image of the imaging unit 3) is written in advance.
  • the blinking determination unit 7 acquires the specified position of the blinking light emitting unit 2 by reading information indicating the specified position of the blinking light emitting unit 2 from the nonvolatile memory.
  • the blinking position specifying unit 8 specifies the current position of the flashing light emitting unit 2 in the captured image of the imaging unit 3, and the specified current position is the specified position of the flashing light emitting unit 2. Is written into the non-volatile memory.
  • FIG. 6A is a diagram illustrating a captured image I3 of the imaging unit 3 during normal operation.
  • FIG. 6B is a diagram illustrating a captured image I4 of the imaging unit 3 when an abnormality occurs. 6B, for some reason, the imaging unit 3 is inclined downward as compared to the case of FIG. 6A showing the normal operation.
  • the coordinates of the current position of the flashing light emitting unit 2 are P1, and the area is g-2.
  • the specified position of the flashing light emitting unit 2 is specified by the same coordinate P1 or area g-2 as the current position of the flashing light emitting unit 2 during normal operation.
  • the coordinates of the flashing light emitting unit 2 are P2, and the area is g-1.
  • the current position of the flashing light emitting unit 2 is specified by the coordinate P2 or the area g-1.
  • the blink determination unit 7 determines that the current position is not the specified position by determining that the distance between the coordinates P2 of the current position of the blinking light emitting unit 2 and the coordinates P1 of the specified position is greater than a predetermined threshold. judge. In another example, the blink determination unit 7 determines that the current position is not the specified position by determining that the area g-2 of the current position of the flashing light emitting unit 2 is different from the area g-1 of the specified position. .
  • step S21 If it is determined that the current position is the specified position (step S21: Yes), the control unit 4 determines that the imaging unit 3 is operating normally, and ends step S15 (processing as the blink determination unit 7). ).
  • the control unit 4 determines whether to correct the display range in step S22 (processing as the image correction unit 10). ).
  • the display range is a range used as a display image in the captured image.
  • the electronic mirror system 1A has an interface (not shown) for allowing the occupant to set in advance whether or not to correct the display range, and whether or not to correct the display range based on the setting state. judge.
  • step S22 If it is determined that the display range is not corrected (step S22: No), the process proceeds to step S23.
  • step S23 the control unit 4 determines that the imaging unit 3 has failed, detects an abnormality in the imaging unit 3, and ends step S15 (processing as the blinking determination unit 7).
  • step S24 the control unit 4 determines the difference between the specified position of the blinking light emitting unit 2 and the current position in the captured image of the imaging unit 3 (shift in the vertical and horizontal directions). ) Is calculated (processing as the blinking determination unit 7). For example, the blink determination unit 7 calculates a horizontal difference and a vertical difference between the coordinates P2 of the current position and the coordinates P1 of the specified position of the blinking light emitting unit 2.
  • step S25 the control unit 4 determines whether or not the difference is within the correction range (processing as the image correction unit 10). In one example, the image correction unit 10 determines whether the difference is within the correction range based on the position of the currently set display range.
  • FIG. 7A is a diagram illustrating the display range F1 of the captured image I5 during normal operation.
  • FIG. 7B is a diagram illustrating the display range F1 of the captured image I6 when an abnormality occurs. Since the flashing light emitting unit 2 and the imaging unit 3 are both fixed to the vehicle, their relative positional relationship does not change during normal operation. At the time of abnormal operation shown in FIG. 7B, the imaging unit 3 is inclined downward due to some cause (vibration, impact, etc.). Compared to the case of FIG. 7A showing the normal operation, the relative positional relationship between them changes in the case of FIG. 7B.
  • the display image is compared with the normal operation in the same manner as the captured image when an abnormality occurs. Will shift down. Therefore, first, for example, when the control unit 4 shifts the display range F1 by the difference between the coordinates P3 of the specified position of the blinking light emitting unit 2 in the captured image of the imaging unit 3 and the coordinates P4 of the current position, the display range is displayed. It is determined whether or not the difference is within the correction range by determining whether or not it is included in the captured image I6.
  • step S25: No the control unit 4 determines that the imaging unit 3 has failed and cannot be adjusted, and proceeds to step S23 (as the blinking determination unit 7). processing).
  • step S26 the control unit 4 corrects the display range (processing as the image correction unit 10).
  • the image correcting unit 10 corrects the display range by instructing the image processing unit 5 to change the currently set display range in the captured image.
  • the image correction unit 10 may correct the display range so that the blinking light emitting unit 2 included in the captured image is not included in the display range.
  • steps S24 to S26 are omitted. be able to.
  • FIG. 7C is a diagram for explaining the adjusted display range F2 of the captured image I6 when an abnormality occurs.
  • a display range F2 that is shifted from the display range F1 by the difference between the coordinates P3 of the specified position of the blinking light emitting unit 2 and the coordinates P4 of the current position in the captured image of the imaging unit 3 is included in the captured image I6.
  • the display image determined by the display range F2 shown in FIG. 7C is the same as the display image determined by the display range F1 shown in FIG. 7A. In this way, even when an abnormality occurs, the electronic mirror system 1A can display the same image as during normal operation.
  • the imaging device state monitoring device 100A (imaging device state monitoring device 100) monitors the imaging state of the imaging unit 3.
  • the imaging device state monitoring device 100 ⁇ / b> A includes an image acquisition unit 33, a blinking determination unit 7, and an abnormality processing unit 9.
  • the image acquisition unit 33 acquires a captured image captured by the imaging unit 3 including the blinking light emitting unit 2 that repeats blinking in the imaging range.
  • the blinking determination unit 7 determines whether or not a change corresponding to blinking is included in the captured image. When it is determined that the captured image does not include a change corresponding to blinking, the abnormality processing unit 9 performs an abnormality response process.
  • an abnormal state such as the occurrence of a screen freeze can be detected using the blinking light emitting unit 2 and the components on the display device side.
  • the imaging unit 3 can use a conventional vehicle-mounted camera as it is. Further, by determining whether or not an image freeze has occurred immediately before displaying a display image, the electronic mirror system 1A reliably detects the presence or absence of an image freeze when the vehicle camera passes through the display device side. can do.
  • FIG. 8 is a configuration diagram of an electronic mirror system 1B according to the second embodiment.
  • the electronic mirror system 1B according to the second embodiment includes a blinking light emitting unit 11, an imaging unit 3, a control unit 12, an image processing unit 5, and a display unit 6.
  • the imaging device state monitoring device 100B (imaging device state monitoring device 100) according to the second embodiment includes at least the control unit 12. Since the imaging unit 3, the image processing unit 5, and the display unit 6 are the same as those in the first embodiment, description thereof is omitted.
  • the control unit 12 functions as a blinking determination unit 13, a blinking position specifying unit 8, an abnormality processing unit 9, and an image acquisition unit 33.
  • the blinking position specifying unit 8, the abnormality processing unit 9, and the image acquisition unit 33 are the same as those in the first embodiment, and thus description thereof is omitted.
  • the blinking light emitting unit 11 repeats blinking.
  • the blinking light-emitting unit 2 is provided independently of the other components of the electronic mirror system 1A, whereas in the second embodiment, the blinking light-emitting unit 11 has a blink determination.
  • the signal connected to the unit 13 and instructing the blinking cycle is acquired from the blinking determination unit 13.
  • the blinking determination unit 13 determines whether or not the captured image data acquired from the imaging unit 3 includes a change corresponding to the blinking of the blinking light emitting unit 11.
  • the blink determination unit 13 generates a signal indicating the blink cycle based on the frame rate of the imaging unit 3.
  • the blinking light emitting unit 11 acquires the signal generated by the blinking determination unit 13 and repeats blinking according to the instructed blinking cycle.
  • the blinking determination unit 13 prevents the imaging cycle of the imaging unit 3 from being an integral multiple of the blinking cycle of the blinking light emitting unit 11 and the blinking cycle of the flashing light emitting unit 11 is not an integral multiple of the imaging cycle of the imaging unit 3. Select the flicker cycle as follows.
  • the blinking light emitting unit 11 blinks when the imaging timing of the imaging unit 3 overlaps with the extinguishing timing of the flashing light emitting unit 11. It is possible to avoid the determination unit 13 from making an erroneous determination.
  • the blinking determination unit 13 determines the illuminance, the blinking cycle, etc. of the blinking light emitting unit 11 according to the external light.
  • a signal indicating the change can be generated. For example, during the daytime when the outside light is bright, it is possible to make a change such as increasing the illuminance of the flashing light emitting unit 11. Thereby, the blink determination part 13 of the electronic mirror system 1B can detect the blink of the blinking light emission part 11 more correctly.
  • the flashing light-emitting unit 11 has a power supply circuit (not shown) that receives power from the vehicle battery and a signal from the blinking determination unit 13, and the power supply circuit supplies power for lighting the flashing light-emitting unit 11. Supply. In this way, the blinking light emitting unit 11 may not have a battery that supplies power for lighting.
  • the blinking light emitting unit 11 is connected to the blinking determination unit 13 by an electric wire, and the blinking determination unit 13 sets the blinking light emitting unit 11 via the electric wire based on the electric power from the battery of the vehicle and the signal generated by itself. Supply power to light. In this way, the blinking light emitting unit 11 may not have a power supply circuit that supplies power for lighting.
  • the blinking determination unit 13 instructs the blinking light emitting unit 11 on the blinking cycle based on the frame rate of the imaging unit 3.
  • the blink determination unit 13 cannot detect blinking of the blinking light emitting unit 11 from the data of the captured image of the imaging unit 3 according to the frame rate of the imaging unit 3.
  • the blinking cycle of the flashing light emitting unit 11 can be avoided.
  • the electronic mirror system 1B can accurately detect an abnormal state such as the occurrence of an image freeze in many situations.
  • FIG. 9 is a configuration diagram of an electronic mirror system 1C according to the third embodiment.
  • An electronic mirror system 1C according to the third embodiment includes a blinking light emitting unit 2, an imaging unit 3, a control unit 14, an image processing unit 5, a display unit 6, and an imaging range changing unit 16.
  • the imaging device state monitoring device 100C (imaging device state monitoring device 100) according to the third embodiment includes at least the control unit 14. Since the flashing light emitting unit 2, the imaging unit 3, the image processing unit 5, and the display unit 6 are the same as those in the first embodiment, description thereof is omitted.
  • the control unit 14 functions as a blinking determination unit 15, a blinking position specifying unit 8, an abnormality processing unit 9, and an image acquisition unit 33.
  • the blinking position specifying unit 8, the abnormality processing unit 9, and the image acquisition unit 33 are the same as those in the first embodiment, and thus description thereof is omitted.
  • the blinking determination unit 15 transmits a signal for changing the imaging range of the imaging unit 3 to the imaging range changing unit 16.
  • the imaging range changing unit 16 changes the imaging range of the imaging unit 3 based on the signal acquired from the blink determination unit 15.
  • the imaging range changing unit 16 is a motor (not shown) that adjusts the direction of a lens (not shown) included in the imaging unit 3. The motor is driven by a signal acquired from the blink determination unit 15.
  • the lens of the imaging unit 3 faces downward as compared to the normal operation shown in FIG. 7A.
  • the orientation of the lens of the imaging unit 3 is changed. By adjusting, the imaging range can be corrected as shown in FIG. 7A.
  • the imaging range changing unit 16 changes the range that the imaging unit 3 cuts out from the captured image of the imaging unit 3 instead of the motor. In this case, a new captured image may be generated.
  • the image processing unit 5 and the imaging range changing unit 16 simultaneously perform at least one of correction of the display range, change of the clipping range, and change of the imaging range, thereby simultaneously displaying the display range F1 shown in FIG. 7A.
  • a display image identical to the display image is generated.
  • the blinking determination unit 15 instructs the imaging range changing unit 16 to change the imaging range in units of areas, and the image correcting unit 10 shifts the display range by the difference between the specified position after the change and the current position.
  • the image processing unit 5 is instructed.
  • the imaging device state monitoring device 100C (imaging device state monitoring device 100) according to the third embodiment changes the imaging range with respect to the imaging range changing unit 16 that changes the imaging range of the imaging unit 3. In this way, the blinking determination unit 15 instructs.
  • the imaging range changing unit 16 changes the clipping range or changes the imaging range. Compared with the case where only the correction of the display range is performed, the range in which the display range can be changed can be expanded. Thereby, the freedom degree of correction
  • FIG. 10 is a diagram illustrating an example of a hardware configuration of a computer. The function of each part in each embodiment and each modification described above is realized by a program executed by the computer 2100.
  • the computer 2100 includes an input device 2101 such as an input button and a touch pad, an output device 2102 such as a display and a speaker, a CPU (Central Processing Unit) 2103, a ROM (Read Only Memory) 2104, and a RAM (Random Access Memory) 2105. Further, the computer 2100 reads information from a recording medium such as a hard disk device, a storage device 2106 such as an SSD (Solid State Drive), a DVD-ROM (Digital Versatile Disk Read Only Memory), or a USB (Universal Serial Bus) memory. 2107, a transmission / reception device 2108 that performs communication via a network. Each unit described above is connected by a bus 2109.
  • a bus 2109 is connected by a bus 2109.
  • the reading device 2107 reads the program from a recording medium on which a program for realizing the functions of the above-described units is recorded, and stores the program in the storage device 2106.
  • the transmission / reception device 2108 communicates with the server device connected to the network, and causes the storage device 2106 to store a program for realizing the function of each unit downloaded from the server device.
  • the CPU 2103 copies the program stored in the storage device 2106 to the RAM 2105, and sequentially reads out and executes the instructions included in the program from the RAM 2105, thereby realizing the functions of the above-described units. Further, when executing the program, the RAM 2105 or the storage device 2106 stores information obtained by various processes described in each embodiment, and is used as appropriate.
  • the blinking light emitting units 2 and 11 repeat blinking at a predetermined blinking cycle.
  • the flashing light emitting units 2 and 11 repeat blinking without having a predetermined blinking cycle is also conceivable.
  • it is preferable that the ratio of the time during which the flashing light emitting units 2 and 11 are turned on to the ratio during which the flashing light emitting units 2 and 11 are turned off is included in the predetermined range.
  • the display unit 6 that functions as a notification unit is a display device included in an electronic mirror system.
  • the notification unit does not need to be a display device.
  • the notification unit may be a speaker that generates a warning sound or a warning sound.
  • the notification unit may be a warning lamp.
  • the blinking light emitting units 2 and 11 have one light emitting unit.
  • the flashing light emitting units 2 and 11 may have a plurality of light emitting units, and when the blinking determination units 7 and 13 detect any one of the plurality of light emitting units, the flashing light emission. It may be determined that blinking of the parts 2 and 11 is detected.
  • the electronic mirror system according to the present disclosure can be used even when a part of the plurality of light emitting units breaks down or when dirt such as mud or snow adheres to a part of the plurality of light emitting units. 1A to 1C can continue to monitor the occurrence of freeze.
  • the least common multiple cycle of the blinking cycles of the plurality of light emitting units sufficiently longer than the imaging cycle of the imaging unit 3 (for example, twice or more), it is possible to detect the blinking of the flashing light emitting units 2 and 11.
  • the accuracy can be further increased.
  • the imaging device state monitoring device 100A according to the first embodiment includes at least the control unit 4.
  • the imaging apparatus state monitoring apparatus 100B according to the second embodiment includes at least the control unit 12.
  • the imaging apparatus state monitoring apparatus 100C according to the third embodiment includes at least the control unit 14.
  • an embodiment in which the imaging apparatus state monitoring apparatus 100 includes only the blinking determination unit 7, 13, or 15 as a minimum component is also conceivable.
  • an in-vehicle device that is connected to the blinking determination unit 7, 13, or 15 of the imaging device state monitoring device 100 and arranged outside the imaging device state monitoring device 100 may serve as the abnormality processing unit 9. .
  • the blinking determination units 7, 13, and 15 obtain a deviation between the center of gravity of the current position of the two light emitting units and the center of gravity of the specified position in the captured image of the imaging unit 3 as a vertical / horizontal shift.
  • the blinking determination units 7, 13, and 15 indicate the direction of the specified position of each light emitting unit with respect to the center of gravity of the specified positions of the two light emitting units and the current position of each light emitting unit with respect to the center of gravity of the current position of the two light emitting units. Based on the direction, the rotation angle of the deviation due to rotation is obtained.
  • the image correction unit 10 corrects the shift in the vertical and horizontal directions and the shift due to the rotation.
  • the imaging device state monitoring device, the imaging device state monitoring method, and the program according to the present disclosure are suitable for being applied to an electronic mirror system mounted on a vehicle instead of a mirror that reflects the surroundings of the vehicle.
  • Electron mirror system 2 Flashing light emitting part 2-1, 2-2 LED DESCRIPTION OF SYMBOLS 3 Image pick-up part 3-1 Left side camera 3-2 Right side camera 4 Control part 5 Image processing part 6 Display part 7 Flicker determination part 8 Flicker position specification part 9 Abnormality processing part 10 Image correction part 11 Flashing light emission part 12 Control part 13 Flickering determination unit 14 Control unit 15 Flickering determination unit 16 Imaging range changing unit 33 Image acquisition unit 100, 100A, 100B, 100C Imaging device state monitoring device 2100 Computer 2101 Input device 2102 Output device 2103 CPU 2104 ROM 2105 RAM 2106 Storage device 2107 Reading device 2108 Transmission / reception device 2109 Bus F1, F2 Display range I1, I2, I3, I4, I5, I6 Captured image P1, P2, P3, P4 Coordinates S1, S2 State V Vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

撮像装置状態監視装置は、撮像部の撮像状態を監視する。撮像装置状態監視装置は、画像取得部と、明滅判定部と、異常処理部と、を有する。画像取得部は、明滅を繰り返す点滅発光部を撮像範囲に含む撮像部が撮像した撮像画像を取得する。明滅判定部は、撮像画像に明滅に対応する変化が含まれるか否かを判定する。異常処理部は、撮像画像に明滅に対応する変化が含まれないと判定された場合、異常への対応処理を実行する。

Description

撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム
　本開示は、撮像装置状態監視装置、撮像装置状態監視方法、およびプログラムに関する。
　近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用する車載映像表示システムの１つとして、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、表示装置に画像として表示する電子ミラーシステムがある。電子ミラーシステムは、車載カメラと表示装置を有する。
　一般に電子ミラーシステムにおいて起こりうる不具合事象として、画像フリーズが考えられる。画像フリーズとは、電子ミラーシステムが有するメモリコントローラや制御ソフトウェア等の不具合や車載カメラからの画像が不具合により更新されない事により、本来順次更新されるフレームメモリデータが更新されず、時刻的に古いデータが表示され続けてしまう事象である。
　電子ミラーシステムにおいて画像フリーズが発生すると、表示装置には本来表示されるべき画像フレームとは異なる画像フレームが表示される。そのため、運転手が画像フリーズの発生に気付いていない場合、例えば、本来表示されるべき障害物等があっても、障害物等が存在しないものと運転手が錯覚しかねない。したがって、電子ミラーシステムにおいては、画像フリーズへの対策が必須である。車載カメラが撮像した画像を利用する自動運転システムにおいても、同様である。
　画像フリーズへの対策として、画像フリーズの発生の有無を検出する手段を有する電子ミラーシステムが提案されている（特許文献１参照）。特許文献１には、ＥＣＵが画像データを受け取り、画像データのブランキング期間に画像フレームの識別情報を付与し、ディスプレイ側で識別情報の照合を行うことにより、画像フリーズの発生の有無を検出する手法が開示されている。
特開２０１６－０３９５０８号公報
　本開示は、画像フリーズの発生の有無を検出するための改善された撮像装置状態監視装置、撮像装置状態監視方法、およびプログラムを提供する。
　本開示の一態様に係る撮像装置状態監視装置は、撮像部の撮像状態を監視する。撮像装置状態監視装置は、画像取得部と、明滅判定部と、異常処理部と、を有する。画像取得部は、明滅を繰り返す点滅発光部を撮像範囲に含む撮像部が撮像した撮像画像を取得する。明滅判定部は、撮像画像に明滅に対応する変化が含まれるか否かを判定する。異常処理部は、撮像画像に明滅に対応する変化が含まれないと判定された場合、異常への対応処理を実行する。
　本開示の別の一態様に係る撮像装置状態監視方法は、撮像画像を取得する第１のステップと、変化が含まれるか否かを判定する第２のステップと、異常への対応処理を実行する第３のステップと、を含む。撮像画像を取得する第１のステップでは、明滅を繰り返す点滅発光部を撮像部が撮像した撮像画像を取得する。変化が含まれるか否かを判定する第２のステップでは、撮像画像に明滅に対応する変化が含まれるか否かを判定する。異常への対応処理を実行する第３のステップでは、撮像画像に明滅に対応する変化が含まれないと判定された場合、異常への対応処理を実行する。
　本開示のさらに別の一態様に係るプログラムは、撮像装置状態監視装置が有するコンピュータに、撮像画像を取得する第１のステップと、変化が含まれるか否かを判定する第２のステップと、異常への対応処理を実行する第３のステップと、を実行させる。撮像画像を取得する第１のステップでは、明滅を繰り返す点滅発光部を撮像部が撮像した撮像画像を取得する。変化が含まれるか否かを判定する第２のステップでは、明滅に対応する変化が含まれるか否かを判定する。異常への対応処理を実行する第３のステップでは、撮像画像に明滅に対応する変化が含まれないと判定された場合、異常への対応処理を実行する。
　なお、本開示の態様を方法、装置、システム、記録媒体（コンピュータ読み取り可能な一過性でない記録媒体を含む）、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
　本開示によれば、画像フリーズの発生の有無を検出するための改善された撮像装置状態監視装置、撮像装置状態監視方法、およびプログラムを提供することができる。
図１は、第１の実施の形態に係る電子ミラーシステムの構成図である。 図２は、本開示に係る電子ミラーシステムの設置状態の一例を示す図である。 図３は、第１の実施の形態に係る電子ミラーシステムの動作の一例を示すフローチャートである。 図４Ａは、本開示に係る点灯時の点滅発光部を撮像部が撮像した撮像画像の一例を説明する図である。 図４Ｂは、本開示に係る消灯時の点滅発光部を撮像部が撮像した撮像画像の一例を説明する図である。 図５は、図３のステップＳ１５の処理の一例を示すフローチャートである。 図６Ａは、正常動作時における撮像部の撮像画像を説明する図である。 図６Ｂは、異常発生時における撮像部の撮像画像を説明する図である。 図７Ａは、正常動作時における撮像画像の表示範囲を説明する図である。 図７Ｂは、異常発生時における撮像画像の表示範囲を説明する図である。 図７Ｃは、異常発生時における撮像画像の調整された表示範囲を説明する図である。 図８は、第２の実施の形態に係る電子ミラーシステムの構成図である。 図９は、第３の実施の形態に係る電子ミラーシステムの構成図である。 図１０は、コンピュータのハードウェア構成の一例を示す図である。
　本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。特許文献１に記載の構成においては、画像データに画像フレームの識別情報を付与する機能をＥＣＵ側で付与する為に、それより前段での車載カメラ側に起因する画像フリーズを検出することができない問題がある。また、画像フレームの識別情報を付与する機能を車載カメラ側に付加する為には、車載カメラ側の構成を変更しなければならず、ディスプレイ側の変更では対応出来ない問題がある。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。本開示の撮像装置状態監視装置を適用した電子ミラーシステムを一例にとって第１の実施の形態から第３の実施の形態を説明するが、本開示は電子ミラーシステムに限定されない。例えば、撮像部の撮像画像を参照する自動運転システムに本開示を適用することもできる。
　（第１の実施の形態）
　図１は、第１の実施の形態に係る電子ミラーシステム１Ａの構成図である。図２は、本開示に係る電子ミラーシステム１Ａの設置状態の一例を示す図である。電子ミラーシステム１Ａは、点滅発光部２と、撮像部３と、制御部４と、画像処理部５と、表示部６とを有する。第１の実施の形態に係る撮像装置状態監視装置１００Ａ（撮像装置状態監視装置１００）は、図１に示されるように、少なくとも制御部４を有する。第１の実施の形態に係る撮像装置状態監視装置１００Ａは、電子ミラーシステム１Ａの電子ミラー（表示部６）と同じ筐体内に内蔵されてもよく、撮像部３と同じ筐体内に内蔵されてもよく、撮像部３および表示部６のいずれとも異なる別モジュールであってもよい。
　点滅発光部２は、所定の明滅周期で明滅を繰り返す。点滅発光部２の発光帯域の少なくとも一部は、撮像部３の撮像帯域に含まれる。一例において、点滅発光部２は、可視光を発光する可視光ＬＥＤまたは赤外線を発光する赤外線ＬＥＤ等明滅可能な発光源を発光部として有する。点滅発光部２は、例えば、車両Ｖが有する左右ドアノブ周辺に設けられたＬＥＤ２－１およびＬＥＤ２－２である。
　一例において、点滅発光部２は、発光部の周囲が低反射性または光吸収性の素材を備えるフードで囲まれた構成を有する。こうすると、撮像部３は、より鮮明に点滅発光部２の明滅を撮像することができる。
　第１の実施の形態においては、点滅発光部２は電子ミラーシステム１Ａの他の構成要素から独立して設けられる。例えば、点滅発光部２は、電池（図示せず）および制御回路（図示せず）を有し、電池から電源供給を受けた制御回路が、同じく電池から電源供給を受けた発光部を所定の周期で明滅させる。なお、点滅発光部２は、電池を内蔵せず車両のバッテリーから電源供給を受けても良い。また、点滅発光部２として、例えば、車両に設けられた盗難防止装置が有する、明滅する発光部を流用してもよい。
　撮像部３は、点滅発光部２を含む撮像範囲を所定のフレームレート（例えば１００フレーム／秒）で撮像し、撮像画像のデータを生成する。撮像部３は、点滅発光部２および車両の一部がその撮像範囲に入る限りにおいて、その撮像範囲は特に限定されない。撮像部３は、例えば、車両Ｖが有し、左右サイドミラーの代わりに使用される電子ミラーに表示される画像を撮像する左サイドカメラ３－１および右サイドカメラ３－２である。
　制御部４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有する。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、制御部４の各ブロックの動作を集中制御する。制御部４は、明滅判定部７と、明滅位置特定部８と、異常処理部９と、画像取得部３３として機能する。制御部４は、撮像部３から撮像画像を取得する画像取得部３３を介して、撮像画像を取得する。画像取得部３３は、撮像部３から送信された撮像画像データを受信する入力インターフェースである。
　画像処理部５は、撮像部３の撮像画像を画像処理する。一例において、画像処理部５は、画像補正部１０の指示に応じて、撮像部３の撮像画像における表示範囲を補正した表示画像を表示部６に出力し、表示させる。その他、例えば、画像処理部５は、空間方向のフィルタ処理を行うことでノイズを除去するノイズフィルタや、ガンマカーブに従って入力画像信号を出力画像信号に変換するコントラスト補正回路や、輪郭部分を強調させる輪郭補正回路等の公知の画像処理回路を有する。画像処理部５は、電子ミラーシステム１Ａの電子ミラー（表示部６）と同じ筐体内に内蔵されてもよく、撮像部３と同じ筐体内に内蔵されてもよく、撮像部３および表示部６のいずれとも異なる独立したモジュールであってもよい。
　表示部６は、画像処理部５が画像処理した撮像画像を、車両の乗員に対し表示する。また、表示部６は、画像フリーズの発生、点滅発光部２の異常、撮像部３の異常等を乗員（例えば運転手）に報知する報知部としても機能する。一例において、表示部６は、電子ミラーシステム１Ａが有する電子ミラー（表示装置）である。
　明滅判定部７は、撮像部３から取得した撮像画像に、点滅発光部２の明滅に対応する変化が含まれるか否かを判定する。一例において、明滅判定部７は、所定の期間（例えば１秒）内に撮像部３から取得した撮像画像のデータに含まれるフレームのうち、点滅発光部２が点灯している第１のフレームの数と点滅発光部２が消灯している第２のフレームの数との比率に基づいて、点滅発光部２が明滅しているか否かを判定する。例えば、当該比率がα以上１／α以下（αは０＜α≦１を満たす定数）である場合、明滅判定部７は、点滅発光部２が明滅していると判定する。また、例えば、当該比率がβ以下（βは０＜β≦１を満たす定数）である場合、明滅判定部７は、点滅発光部２が消灯していると判定する。明滅判定部７は、点滅発光部２が明滅しているか否かを判定した後、その判定結果を示す信号を異常処理部９へと出力する。
　明滅位置特定部８は、撮像部３の撮像画像における点滅発光部２の明滅位置を特定する。一例において、明滅位置特定部８は、撮像部３の撮像画像における点滅発光部２の明滅位置を、撮像画像中の座標を用いて特定する。他の一例において、明滅位置特定部８は、撮像画像をいくつかのエリアに分割し、撮像部３の撮像画像における点滅発光部２の明滅位置を、点滅発光部２が属するエリアを用いて特定する。一例において、明滅判定部７は、明滅位置特定部８が特定した点滅発光部２の明滅位置を用いて、撮像部３から取得した撮像画像のデータに含まれるフレームにおいて点滅発光部が点灯しているか消灯しているかを判定する。
　異常処理部９は、点滅発光部２または撮像部３に異常が発生した場合に、異常への対応処理を行う。処理される異常は、例えば、画像フリーズの発生、点滅発光部２の異常、撮像部３の異常、である。ここで、点滅発光部２の異常とは、例えば、点滅発光部２が何らかの原因により故障した、点滅発光部２に泥や雪等の汚れが付着した等の理由により、点滅発光部２が機能しなくなった状態を指す。また、撮像部３の異常とは、例えば、撮像部３が何らかの原因により本来の設定位置からずれてしまった、或いは傾いてしまった状態を指す。一例において、異常処理部９は、明滅判定部７の指示に応じて、電子ミラーシステム１Ａ（または撮像装置状態監視装置１００Ａ）のリブート（再起動、電源切断後電源再投入）を行う。また、一例において、異常処理部９は、明滅判定部７の指示に応じて、報知部として機能する表示部６に、異常状態を表示（報知）させる。
　画像補正部１０は、撮像部３の撮像画像の表示範囲を補正する。ここで、表示範囲とは、撮像画像のうち表示部６が表示する範囲である。一例において、画像補正部１０は、撮像部３の撮像画像における表示範囲を補正するように画像処理部５に指示することにより、表示範囲を補正する。表示部６は、画像補正部１０が生成した表示画像を表示することにより、撮像部３の撮像画像を乗員が視認することができる電子ミラーとして機能する。画像補正部１０は、電子ミラーシステム１Ａの電子ミラー（表示部６）と同じ筐体内に内蔵されてもよく、撮像部３と同じ筐体内に内蔵されてもよく、撮像部３および表示部６のいずれとも異なる独立したモジュールであってもよい。
　図３は、第１の実施の形態に係る電子ミラーシステム１Ａの動作の一例を示すフローチャートである。この処理は、例えば車両のエンジンが起動されることに伴い、電子ミラーシステム１ＡのＣＰＵがＲＯＭに格納されているプログラムを読み出して実行することにより実現される。
　ステップＳ１において、点滅発光部２が明滅を開始する。点滅発光部２が明滅を開始するトリガは、内蔵された電池に接続されたとき、あるいは車両のアクセサリ電源が投入されたとき、あるいは車両のエンジンが起動されたとき、とすることができる。内蔵電池がある場合は、３つのトリガのいずれを用いても良い。車両のバッテリーから電源供給を受ける場合は、後者２つのトリガの何れかを用いることができる。一例において、点滅発光部２は、車両のエンジンの稼働状態に関わらず、内蔵電池に接続された瞬間に明滅を開始する。他の例において、点滅発光部２は、車両のエンジンの稼働状態に関わらず、車両のアクセサリ電源が投入された瞬間に明滅を開始する。他の例において、点滅発光部２は、車両のエンジンが起動されることに伴い、電力が供給され、明滅を開始する。
　一例において、撮像部３の撮像周期（フレームレートの逆数）は、点滅発光部２の明滅周期の整数倍とならず、かつ点滅発光部２の明滅周期は、撮像部３の撮像周期の整数倍とならない。例えば、撮像部３のフレームレートが１００フレーム／秒である場合、撮像周期は１０ミリ秒であるので、点滅発光部２の明滅周期は、例えば２１ミリ秒である。こうすると、撮像部３の撮像タイミングが点滅発光部２の消灯タイミングと重なることに起因して点滅発光部２が故障していると明滅判定部７が誤判定することを避けることができる。
　ステップＳ２において、撮像部３が撮像範囲を撮像する。一例において、撮像範囲は、車両の一部を含む車両側後方である。図４Ａは、本開示に係る点灯時の点滅発光部２を撮像部３が撮像した撮像画像の一例である。撮像部３が撮像した撮像画像Ｉ１においては、点滅発光部２は点灯している（状態Ｓ１）。一方、図４Ｂは、本開示に係る消灯時の点滅発光部２を撮像部３が撮像した撮像画像の一例である。撮像部３が撮像した撮像画像Ｉ２においては、点滅発光部２は消灯している（状態Ｓ２）。このように、撮像部３の撮像画像には、点滅発光部２の明滅が判別可能であるように映り込む。
　ステップＳ３において、制御部４は、撮像部３の撮像画像における点滅発光部２の明滅位置を特定し、明滅に対応する変化を検出する（明滅判定部７および明滅位置特定部８としての処理）。一例において、明滅位置特定部８は、所定の期間（例えば１秒）内に撮像部３から取得した撮像画像のデータに含まれるフレームの各ピクセルにおける輝度値の変化を観測する。次いで、明滅位置特定部８は、輝度値の変化が最も大きいピクセルを特定する。次いで、明滅位置特定部８は、当該ピクセルの位置を撮像画像における点滅発光部２の明滅位置として特定する。次いで、明滅判定部７は、明滅位置特定部８が特定した明滅位置のピクセルの輝度値に基づいて、点滅発光部２が点灯しているか消灯しているかをフレーム毎に判定する。すべてのフレームで判定を行わず、一定時間内での積算値を用いる、あるいは一定時間の間隔を空けての判定を行うなどして、処理負荷の軽減をはかっても良い。
　撮像部３の撮像画像における点滅発光部２の位置を含む範囲が予め想定される範囲である場合、明滅位置特定部８は、想定される範囲に限定して輝度値の変化を観測することにより、より少ない計算量で点滅発光部２の明滅位置を特定することができる。例えば、明滅位置特定部８は、想定される範囲において点滅発光部２の明滅位置を特定することができなかった場合、想定される範囲を少し広げて、再度輝度値の変化を観測する。また、例えば、明滅位置特定部８は、想定される範囲において点滅発光部２の明滅位置を特定することができた場合、想定される範囲を次回の観測の際に少し狭める。
　ステップＳ４において、制御部４は、明滅位置を特定したか否かを判定する（明滅位置特定部８としての処理）。明滅位置を特定しなかった場合（ステップＳ４：Ｎｏ）、ステップＳ８に進む。一方、明滅位置を特定した場合（ステップＳ４：Ｙｅｓ）、ステップＳ５に進む。一例において、明滅位置を特定しなかった場合（ステップＳ４：Ｎｏ）、ステップＳ８に進む前に、ステップＳ３～Ｓ４を、それぞれ所定の回数だけ繰り返してもよい。こうすると、点滅発光部２の明滅位置の特定の精度をより高めることができる。
　ステップＳ５において、制御部４は、点滅発光部２の明滅に対応する変化を検出したか否かを判定する（明滅判定部７としての処理）。明滅に対応する変化を検出した場合（ステップＳ５：Ｙｅｓ）、ステップＳ１５に進む。一方、明滅に対応する変化を検出しなかった場合（ステップＳ５：Ｎｏ）、ステップＳ６に進む。一例において、明滅に対応する変化を検出しなかった場合（ステップＳ５：Ｎｏ）、ステップＳ６に進む前に、ステップＳ３～Ｓ５を、それぞれ所定の回数だけ繰り返してもよい。こうすると、点滅発光部２の明滅に対応する撮像画像に含まれる変化の検出の精度をより高めることができる。
　ステップＳ６において、制御部４は、ステップＳ３で撮像部３から取得した撮像画像において、点滅発光部２が全て滅（消灯）であったか否かを判定する（明滅判定部７としての処理）。全て滅ではなかったと判定した場合（ステップＳ６：Ｎｏ）、明滅判定部７は画像フリーズが発生したと判定し、ステップＳ７に進む。
　ステップＳ７において、制御部４は、画像フリーズの処理を行う（異常処理部９としての処理）。例えば、異常処理部９は、画像フリーズが発生した旨の警告を表示部６に表示させる。ステップＳ７を実行した後、表示部６には、警告が表示され、撮像部３の撮像画像は表示されない。これに代えて、例えば、異常処理部９は、電子ミラーシステム１Ａ（または撮像装置状態監視装置１００Ａ）のリブートを乗員に促す旨の警告を表示部６に表示させてもよく、或いはリブートしてもよい。
　ステップＳ６において全て滅であったと判定した場合（ステップＳ６：Ｙｅｓ）、画像フリーズが発生した可能性に加えて、点滅発光部２の異常により点滅発光部２の点灯を検出することができない可能性も考えられる。そこで、ステップＳ８において、制御部４は、電子ミラーシステム１Ａ（または撮像装置状態監視装置１００Ａ）をリブートする（異常処理部９としての処理）。
　ステップＳ９において、制御部４は、再度、撮像部３の撮像画像における点滅発光部２の明滅位置を特定し、明滅に対応する変化を検出する（明滅判定部７および明滅位置特定部８としての処理）。ステップＳ９の処理内容は、ステップＳ３と同様の処理内容であるので、説明を省略する。
　次いで、ステップＳ１０において、制御部４は、再度、明滅位置を特定したか否かを判定する（明滅位置特定部８としての処理）。明滅位置を特定しなかった場合（ステップＳ１０：Ｎｏ）、点滅発光部２の異常が発生したか、画像フリーズが発生したか、それとも撮像部３の異常が発生したかを自動的に切り分けるのは困難である。
　そこで、ステップＳ１１において、制御部４は、点滅発光部２の異常への対応処理、画像フリーズの処理、または撮像部３の異常への対応処理を行う（異常処理部９としての処理）。例えば、異常処理部９は、点滅発光部２および撮像部３の状態の確認を乗員に促す旨の警告を表示部６に表示させる。これにより、画像フリーズ、点滅発光部２の異常、および撮像部３の異常のいずれが発生したかを、電子ミラーシステム１Ａが切り分けなくても、報知された乗員が調べることにより切り分けることができる。ステップＳ１１を実行した後、表示部６には、警告が表示され、撮像部３の撮像画像は表示されない。これに代えて、異常処理部９は、電子ミラーシステム１Ａ（または撮像装置状態監視装置１００Ａ）のリブートを乗員に促す旨の警告を表示部６に表示させてもよく、或いはリブートしてもよい。
　一方、明滅位置を特定した場合（ステップＳ１０：Ｙｅｓ）、ステップＳ１２において、制御部４は、再度、点滅発光部２の明滅に対応する変化を検出したか否かを判定する（明滅判定部７としての処理）。明滅に対応する変化を検出した場合（ステップＳ１２：Ｙｅｓ）、ステップＳ１５に進む。一方、明滅に対応する変化を検出しなかった場合（ステップＳ１２：Ｎｏ）、ステップＳ１３において、制御部４は、再度、ステップＳ９で撮像部３から取得した撮像画像において、点滅発光部２が全て滅であったか否かを判定する（明滅判定部７としての処理）。
　ステップＳ１３において、全て滅ではなかったと判定した場合（ステップＳ１３：Ｎｏ）、制御部４は、画像フリーズが発生したと判定し、ステップＳ７に進む（明滅判定部７としての処理）。ステップＳ１３において全て滅であったと判定した場合（ステップＳ１３：Ｙｅｓ）、点滅発光部２の異常が発生したか画像フリーズが発生したかを自動的に切り分けるのは困難である。
　そこで、ステップＳ１４において、制御部４は、点滅発光部２の異常への対応処理または画像フリーズの処理を行う（異常処理部９としての処理）。例えば、異常処理部９は、点滅発光部２の状態の確認を乗員に促す旨の警告を表示部６に表示させる。これにより、画像フリーズおよび点滅発光部２の異常のいずれが発生したかを、電子ミラーシステム１Ａが切り分けなくても、報知された乗員が調べることにより切り分けることができる。ステップＳ１４を実行した後、表示部６には、警告が表示され、撮像部３の撮像画像は表示されない。これに代えて、異常処理部９は、電子ミラーシステム１Ａ（または撮像装置状態監視装置１００Ａ）のリブートを乗員に促す旨の警告を表示部６に表示させてもよく、或いはリブートしてもよい。
　ステップＳ１５において、制御部４は、明滅位置に基づき表示範囲の補正・撮像部３の異常の検出を行う（明滅判定部７および画像補正部１０としての処理）。ステップＳ１５の処理内容は、図５を参照して後述する。
　ステップＳ１６において、制御部４は、撮像部３の異常を検出したか否かを判定する（明滅判定部７としての処理）。異常を検出したと判定した場合（ステップＳ１６：Ｙｅｓ）、ステップＳ１７において、制御部４は、撮像部３の異常への対応処理を行う（異常処理部９としての処理）。例えば、異常処理部９は、撮像部３の状態の確認を乗員に促す警告を、表示部６に表示させる。ステップＳ１７を実行した後、表示部６には、その警告が表示され、撮像部３の撮像画像は表示されない。これに代えて、異常処理部９は、電子ミラーシステム１Ａ（または撮像装置状態監視装置１００Ａ）のリブートを乗員に促す旨の警告を表示部６に表示させてもよく、或いはリブートしてもよい。
　異常を検出しなかったと判定した場合（ステップＳ１６：Ｎｏ）、ステップＳ１８において、制御部４は、表示部６による撮像画像の表示を許可する（異常処理部９としての処理）。これにより、異常が検出されなかった場合、乗員は、表示部６を電子ミラーとして使用することができる。次いで、ステップＳ２に戻る。
　なお、電子ミラーシステム１Ａが点滅発光部２の異常または画像フリーズの発生の検出のみを行い、表示範囲の補正および撮像部３の異常の検出のいずれも行わない場合、ステップＳ１５～Ｓ１７を省略することができる。
　図５は、図３のステップＳ１５の処理の一例を示すフローチャートである。この処理は、例えば車両のエンジンが起動されることに伴い、電子ミラーシステム１ＡのＣＰＵがＲＯＭに格納されているプログラムを読み出して実行することにより実現される。
　ステップＳ２１において、制御部４は、撮像部３の撮像画像における点滅発光部２の現在位置が規定位置であるか否かを判定する（明滅判定部７としての処理）。一例において、明滅判定部７は、予め点滅発光部２の規定位置（例えば撮像部３の撮像画像における座標、エリア）を示す情報が書き込まれた不揮発性メモリ（図示せず）を有する。明滅判定部７は、不揮発性メモリから点滅発光部２の規定位置を示す情報を読み出すことにより点滅発光部２の規定位置を取得する。例えば、電子ミラーシステム１Ａの最初の電源投入時に、明滅位置特定部８が、撮像部３の撮像画像における点滅発光部２の現在位置を特定し、特定した現在位置を点滅発光部２の規定位置として不揮発性メモリに書き込む。
　図６Ａは、正常動作時における撮像部３の撮像画像Ｉ３を説明する図である。図６Ｂは、異常発生時における撮像部３の撮像画像Ｉ４を説明する図である。図６Ｂにおいては、何らかの原因により、正常動作時を示す図６Ａの場合と比較して、撮像部３が下に傾いている。
　撮像画像Ｉ３においては、点滅発光部２の現在位置の座標がＰ１であり、エリアがｇ－２である。点滅発光部２の規定位置は、正常動作時における点滅発光部２の現在位置と同じ座標Ｐ１またはエリアｇ－２によって特定される。一方、撮像画像Ｉ４においては、点滅発光部２の座標がＰ２であり、エリアがｇ－１である。この場合、点滅発光部２の現在位置は、座標Ｐ２またはエリアｇ－１によって特定される。
　一例において、明滅判定部７は、点滅発光部２の現在位置の座標Ｐ２および規定位置の座標Ｐ１の距離が予め定められた閾値よりも大きいことを判定することによって、現在位置が規定位置でないと判定する。他の一例において、明滅判定部７は、点滅発光部２の現在位置のエリアｇ－２が、規定位置のエリアｇ－１と異なることを判定することによって、現在位置が規定位置でないと判定する。
　現在位置が規定位置であると判定した場合（ステップＳ２１：Ｙｅｓ）、制御部４は、撮像部３が正常に動作していると判定し、ステップＳ１５を終了する（明滅判定部７としての処理）。
　現在位置が規定位置でないと判定した場合（ステップＳ２１：Ｎｏ）、制御部４は、ステップＳ２２において、制御部４は、表示範囲を補正するか否かを判定する（画像補正部１０としての処理）。ここで、表示範囲とは、撮像画像のうち表示画像として使用される範囲である。例えば、電子ミラーシステム１Ａが、表示範囲の補正の要否を乗員に予め設定させるためのインタフェース（図示せず）を有し、その設定の状態に基づいて、表示範囲を補正するか否かを判定する。
　表示範囲を補正しないと判定した場合（ステップＳ２２：Ｎｏ）、ステップＳ２３に進む。ステップＳ２３において、制御部４は、撮像部３が故障したと判定し、撮像部３の異常を検出し、ステップＳ１５を終了する（明滅判定部７としての処理）。
　表示範囲を補正すると判定した場合（ステップＳ２２：Ｙｅｓ）、ステップＳ２４において、制御部４は、撮像部３の撮像画像における点滅発光部２の規定位置と現在位置との差分（上下左右方向のずれ）を算出する（明滅判定部７としての処理）。例えば、明滅判定部７は、点滅発光部２の現在位置の座標Ｐ２および規定位置の座標Ｐ１の水平方向の差分および垂直方向の差分を算出する。
　ステップＳ２５において、制御部４は、差分が補正範囲内であるか否かを判定する（画像補正部１０としての処理）。一例において、画像補正部１０は、現在設定されている表示範囲の位置に基づいて、差分が補正範囲内であるか否かを判定する。
　図７Ａは、正常動作時における撮像画像Ｉ５の表示範囲Ｆ１を説明する図である。図７Ｂは、異常発生時における撮像画像Ｉ６の表示範囲Ｆ１を説明する図である。点滅発光部２および撮像部３は、共に車両に固定されるため、正常動作時にはそれらの相対的な位置関係も変化しない。図７Ｂに示される異常動作時においては、何らかの原因（振動、衝撃等）により、撮像部３が下に傾いている。正常動作時を示す図７Ａの場合と比較して、図７Ｂの場合には、それらの相対的な位置関係が変化している。
　図７Ａおよび図７Ｂに示されるように、撮像画像Ｉ５および撮像画像Ｉ６のいずれにおいても同一の表示範囲Ｆ１を用いると、異常発生時に、表示画像も撮像画像と同様に、正常動作時と比較して下にずれてしまう。そこで、まず、例えば、制御部４は、撮像部３の撮像画像における点滅発光部２の規定位置の座標Ｐ３と現在位置の座標Ｐ４との差分だけ表示範囲Ｆ１をずらした場合に、表示範囲が撮像画像Ｉ６内に含まれるか否かを判定することによって、差分が補正範囲内であるか否かを判定する。
　差分が補正範囲内でないと判定した場合（ステップＳ２５：Ｎｏ）、制御部４は、撮像部３が故障し、調整が不可能であると判定し、ステップＳ２３に進む（明滅判定部７としての処理）。一方、差分が補正範囲内であると判定した場合（ステップＳ２５：Ｙｅｓ）、ステップＳ２６において、制御部４は、表示範囲を補正する（画像補正部１０としての処理）。一例において、画像補正部１０は、撮像画像において現在設定されている表示範囲を変更するように画像処理部５に指示することにより、表示範囲を補正する。この場合、画像補正部１０は、撮像画像に含まれる点滅発光部２が表示範囲に含まれないように、表示範囲を補正してもよい。
　なお、電子ミラーシステム１Ａが点滅発光部２の異常または画像フリーズの発生の検出に加えて撮像部３の異常の検出のみを行い、表示範囲の補正を行わない場合、ステップＳ２４～Ｓ２６を省略することができる。
　図７Ｃは、異常発生時における撮像画像Ｉ６の調整された表示範囲Ｆ２を説明する図である。撮像部３の撮像画像における点滅発光部２の規定位置の座標Ｐ３と現在位置の座標Ｐ４との差分だけ表示範囲Ｆ１からずれている表示範囲Ｆ２は、撮像画像Ｉ６内に含まれている。図７Ｃに示される表示範囲Ｆ２によって決定される表示画像は、図７Ａに示される表示範囲Ｆ１によって決定される表示画像と同一である。こうすると、異常発生時においても、電子ミラーシステム１Ａは、正常動作時と同一の画像を表示することができる。
　このように、第１の実施の形態に係る撮像装置状態監視装置１００Ａ（撮像装置状態監視装置１００）は、撮像部３の撮像状態を監視する。撮像装置状態監視装置１００Ａは、画像取得部３３と、明滅判定部７と、異常処理部９と、を有する。画像取得部３３は、明滅を繰り返す点滅発光部２を撮像範囲に含む撮像部３が撮像した撮像画像を取得する。明滅判定部７は、撮像画像に明滅に対応する変化が含まれるか否かを判定する。異常処理部９は、撮像画像に明滅に対応する変化が含まれないと判定された場合、異常への対応処理を実行する。
　第１の実施の形態に係る電子ミラーシステム１Ａによれば、点滅発光部２と表示装置側の構成要素とを用いて、画面フリーズ発生等の異常状態を検出することができるので、車載カメラ等の撮像部３は、従来の車載カメラをそのまま使用することができる。さらに、表示画像を表示する直前に画像フリーズの発生の有無を判定することにより、電子ミラーシステム１Ａは、車載カメラから表示装置側までを貫通させた場合の画像フリーズの発生の有無を確実に検出することができる。
　（第２の実施の形態）
　図８は、第２の実施の形態に係る電子ミラーシステム１Ｂの構成図である。第２の実施の形態に係る電子ミラーシステム１Ｂは、点滅発光部１１と、撮像部３と、制御部１２と、画像処理部５と、表示部６とを有する。第２の実施の形態に係る撮像装置状態監視装置１００Ｂ（撮像装置状態監視装置１００）は、少なくとも制御部１２を有する。撮像部３と、画像処理部５と、表示部６とは、第１の実施の形態のものと同様であるので、説明を省略する。
　制御部１２は、明滅判定部１３と、明滅位置特定部８と、異常処理部９と、画像取得部３３として機能する。明滅位置特定部８と、異常処理部９と、画像取得部３３とは、第１の実施の形態のものと同様であるので、説明を省略する。
　点滅発光部１１は、明滅を繰り返す。第１の実施の形態においては、点滅発光部２が電子ミラーシステム１Ａの他の構成要素から独立して設けられるのに対し、第２の実施の形態においては、点滅発光部１１は、明滅判定部１３に接続され、明滅判定部１３から明滅周期を指示する信号を取得する。
　明滅判定部１３は、撮像部３から取得した撮像画像のデータに、点滅発光部１１の明滅に対応する変化が含まれるか否かを判定する。
　一例として、明滅判定部１３は、撮像部３のフレームレートに基づき、明滅周期を指示する信号を生成する。次いで、点滅発光部１１は、明滅判定部１３が生成した信号を取得し、指示された明滅周期に従って明滅を繰り返す。例えば、明滅判定部１３は、撮像部３の撮像周期が点滅発光部１１の明滅周期の整数倍とならないように、かつ点滅発光部１１の明滅周期が撮像部３の撮像周期の整数倍とならないように明滅周期を選択する。これにより、撮像部３の撮像タイミングが可変の場合であっても、撮像部３の撮像タイミングが点滅発光部１１の消灯タイミングと重なることに起因して点滅発光部１１が故障していると明滅判定部１３が誤判定することを避けることができる。
　また、明滅判定部１３が、他の外光を判定する手段（図示せず）と接続されている場合、明滅判定部１３は、外光に応じて点滅発光部１１の照度、明滅周期等の変更を指示する信号を生成することができる。例えば、外光が明るい昼間には、点滅発光部１１の照度を高くする等の変更が可能である。これにより、電子ミラーシステム１Ｂの明滅判定部１３は、より正確に点滅発光部１１の明滅を検出することができる。
　他の一例において、点滅発光部１１が車両のバッテリーからの電力と明滅判定部１３からの信号とを受ける電源回路（図示せず）を有し、電源回路が点滅発光部１１を点灯する電力を供給する。こうすると、点滅発光部１１は、点灯するための電力を供給する電池を有しなくてもよい。他の一例において、点滅発光部１１が明滅判定部１３と電線によって接続され、明滅判定部１３が車両のバッテリーからの電力と自身が生成する信号とに基づき、電線を介して点滅発光部１１を点灯する電力を供給する。こうすると、点滅発光部１１は、点灯するための電力を供給する電源回路を有しなくてもよい。
　このように、第２の実施の形態に係る電子ミラーシステム１Ｂによれば、明滅判定部１３は、撮像部３のフレームレートに基づき、明滅周期を点滅発光部１１に指示する。
　第２の実施の形態に係る電子ミラーシステム１Ｂによれば、撮像部３のフレームレートに応じて、明滅判定部１３が撮像部３の撮像画像のデータから点滅発光部１１の明滅を検出できなくなる点滅発光部１１の明滅周期を避けることができる。これにより、電子ミラーシステム１Ｂは、多くの状況において正確に画像フリーズの発生等の異常状態を検出することができる。
　（第３の実施の形態）
　図９は、第３の実施の形態に係る電子ミラーシステム１Ｃの構成図である。第３の実施の形態に係る電子ミラーシステム１Ｃは、点滅発光部２と、撮像部３と、制御部１４と、画像処理部５と、表示部６と、撮像範囲変更部１６とを有する。第３の実施の形態に係る撮像装置状態監視装置１００Ｃ（撮像装置状態監視装置１００）は、少なくとも制御部１４を有する。点滅発光部２と、撮像部３と、画像処理部５と、表示部６とは、第１の実施の形態のものと同様であるので、説明を省略する。
　制御部１４は、明滅判定部１５と、明滅位置特定部８と、異常処理部９と、画像取得部３３として機能する。明滅位置特定部８と、異常処理部９と、画像取得部３３とは、第１の実施の形態のものと同様であるので、説明を省略する。
　明滅判定部１５は、撮像範囲変更部１６に撮像部３の撮像範囲を変更するための信号を送信する。
　撮像範囲変更部１６は、明滅判定部１５から取得した信号に基づいて、撮像部３の撮像範囲を変更させる。一例において、撮像範囲変更部１６は、撮像部３が有するレンズ（図示せず）の向きを調節するモータ（図示せず）である。モータは、明滅判定部１５から取得した信号により駆動される。
　例えば、図７Ｂに示される異常発生時においては、図７Ａに示される正常動作時と比較して、撮像部３が有するレンズが下を向いている。この場合、第１の実施の形態において表示範囲Ｆ１を変更して図７Ｃに示される表示範囲Ｆ２としたのに代えて、第３の実施の形態においては、撮像部３が有するレンズの向きを調節することにより、図７Ａで示されるように撮像範囲を補正することができる。
　他の一例において、撮像範囲変更部１６は、撮像部３の撮像範囲が十分大きい場合、撮像範囲変更部１６は、モータに代えて、撮像部３の撮像画像から撮像部３が切り出す範囲を変更して新たな撮像画像を生成させる構成を有してもよい。
　一例において、画像処理部５および撮像範囲変更部１６は、表示範囲の補正、切り出し範囲の変更、および撮像範囲の変更の少なくとも１つを併せて同時に行うことにより、図７Ａで示される表示範囲Ｆ１の表示画像と同一の表示画像を生成する。例えば、撮像範囲変更部１６が撮像範囲をエリア単位で変更するように明滅判定部１５が指示し、変更した後の規定位置と現在位置との差分だけ表示範囲をずらすように画像補正部１０が画像処理部５に指示する。
　このように、第３の実施の形態に係る撮像装置状態監視装置１００Ｃ（撮像装置状態監視装置１００）は、撮像部３の撮像範囲を変更させる撮像範囲変更部１６に対し、撮像範囲を変更するように明滅判定部１５が指示する。
　第３の実施の形態に係る電子ミラーシステム１Ｃによれば、画像処理部５が表示範囲を補正するのと併せて、撮像範囲変更部１６が切り出し範囲の変更や撮像範囲の変更を行うことにより、表示範囲の補正のみを行う場合と比較して、表示範囲を変更することができる範囲を拡大することができる。これにより、表示画像の補正の自由度をより高めることができる。
　図１０は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
　図１０に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を有する。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を有する。上述した各部は、バス２１０９により接続される。
　そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
　そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
　（その他の実施の形態）
　第１の実施の形態から第３の実施の形態においては、点滅発光部２，１１は、所定の明滅周期で明滅を繰り返す。これに代えて、点滅発光部２，１１が、所定の明滅周期を持たずに明滅を繰り返す実施形態も考えられる。この場合、点滅発光部２，１１が点灯している時間の比と消灯している時間の比が所定の範囲に含まれるのが好ましい。
　第１の実施の形態から第３の実施の形態においては、報知部として機能する表示部６は、電子ミラーシステムが有する表示装置である。しかしながら、例えば、自動運転システム等の、撮像部３の撮像画像を乗員が視認する必要のないシステムに本開示を適用する場合は、報知部は、表示装置である必要はない。例えば、表示部６に代えて、報知部は、警告音や警告音声を発生するスピーカであってもよい。さらに他の一例において、報知部は、警告ランプであってもよい。報知部が表示装置でない場合、図３に示されるステップＳ１８を省略することができる。
　第１の実施の形態から第３の実施の形態においては、点滅発光部２，１１は１つの発光部を有する。これに代えて、点滅発光部２，１１は複数の発光部を有してもよく、明滅判定部７，１３が複数の発光部のうちのいずれか１つの明滅を検出した場合に、点滅発光部２，１１の明滅を検出したと判定してもよい。こうすると、複数の発光部のうちの一部が故障した場合や、複数の発光部のうちの一部に泥や雪などの汚れが付着した場合であっても、本開示に係る電子ミラーシステム１Ａ～１Ｃは、フリーズ発生の監視を継続することができる。また、複数の発光部の明滅周期の最小公倍周期を、撮像部３の撮像周期と比較して十分長く（例えば２倍以上に）することにより、点滅発光部２，１１の明滅の検出の精度をより高めることができる。
　第１の実施の形態に係る撮像装置状態監視装置１００Ａは、少なくとも制御部４を有する。また、第２の実施の形態に係る撮像装置状態監視装置１００Ｂは、少なくとも制御部１２を有する。また、第３の実施の形態に係る撮像装置状態監視装置１００Ｃは、少なくとも制御部１４を有する。これらに代えて、撮像装置状態監視装置１００が明滅判定部７、１３、または１５のみを最小構成要素として有する実施の形態も考えられる。例えば、撮像装置状態監視装置１００の明滅判定部７、１３、または１５に接続され、撮像装置状態監視装置１００の外部に配置された車載装置が、異常処理部９としての機能を担ってもよい。
　さらに、発光部を複数にすることにより、撮像部３の上下左右方向のずれに加えて、撮像部３の上下左右方向に平行な面内の回転によるずれを検出し、補正することができる。例えば、明滅判定部７，１３，１５が、撮像部３の撮像画像における２つの発光部の現在位置の重心と規定位置の重心とのずれを、上下左右方向のずれとして求める。次に、明滅判定部７，１３，１５が、２つの発光部の規定位置の重心に対する各発光部の規定位置の方向と、２つの発光部の現在位置の重心に対する各発光部の現在位置の方向とに基づき、回転によるずれの回転角を求める。次いで、画像補正部１０が、上下左右方向のずれおよび回転によるずれを補正する。
　本開示に係る撮像装置状態監視装置、撮像装置状態監視方法、およびプログラムは、車両の周囲を映すミラーに代えて車両に搭載される電子ミラーシステムに適用されるのに好適である。
　１Ａ，１Ｂ，１Ｃ　電子ミラーシステム
　２　点滅発光部
　２－１，２－２　ＬＥＤ
　３　撮像部
　３－１　左サイドカメラ
　３－２　右サイドカメラ
　４　制御部
　５　画像処理部
　６　表示部
　７　明滅判定部
　８　明滅位置特定部
　９　異常処理部
　１０　画像補正部
　１１　点滅発光部
　１２　制御部
　１３　明滅判定部
　１４　制御部
　１５　明滅判定部
　１６　撮像範囲変更部
　３３　画像取得部
　１００，１００Ａ，１００Ｂ，１００Ｃ　撮像装置状態監視装置
　２１００　コンピュータ
　２１０１　入力装置
　２１０２　出力装置
　２１０３　ＣＰＵ
　２１０４　ＲＯＭ
　２１０５　ＲＡＭ
　２１０６　記憶装置
　２１０７　読取装置
　２１０８　送受信装置
　２１０９　バス
　Ｆ１，Ｆ２　表示範囲
　Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５，Ｉ６　撮像画像
　Ｐ１，Ｐ２，Ｐ３，Ｐ４　座標
　Ｓ１，Ｓ２　状態
　Ｖ　車両

Claims (14)

  1. 　撮像部の撮像状態を監視する撮像装置状態監視装置であって、
    　明滅を繰り返す点滅発光部を撮像範囲に含む前記撮像部が撮像した撮像画像を取得する画像取得部と、
    　前記撮像画像に前記明滅に対応する変化が含まれるか否かを判定する明滅判定部と、
    　前記撮像画像に前記明滅に対応する変化が含まれないと判定された場合、異常への対応処理を実行する異常処理部と、
    　を備える、撮像装置状態監視装置。
  2. 　前記明滅判定部は、前記撮像画像に含まれるフレームのうち、前記点滅発光部が点灯している第１のフレームの数と、前記点滅発光部が消灯している第２のフレームの数とに基づき、前記明滅に対応する変化が含まれるか否かを判定する、請求項１に記載の撮像装置状態監視装置。
  3. 　前記明滅判定部は、前記撮像部のフレームレートに基づき、明滅周期を前記点滅発光部に指示し、
    　前記点滅発光部は、前記明滅周期に従って明滅を繰り返す、請求項１または２に記載の撮像装置状態監視装置。
  4. 　前記異常処理部は、前記撮像装置状態監視装置をリブートすることにより、異常への対応処理を実行する、請求項１から３のいずれかに記載の撮像装置状態監視装置。
  5. 　前記異常処理部は、報知部に異常状態を報知させることにより、異常への対応処理を実行する、
    　請求項１から４のいずれかに記載の撮像装置状態監視装置。
  6. 　前記撮像画像のうち表示装置が表示する表示範囲を補正する画像補正部を備える、請求項１から５のいずれかに記載の撮像装置状態監視装置。
  7. 　前記画像補正部は、前記点滅発光部が含まれないように前記表示範囲を補正する、請求項６に記載の撮像装置状態監視装置。
  8. 　前記明滅判定部は、前記撮像画像における前記点滅発光部の明滅位置を特定する明滅位置特定部を備え、
    　前記画像補正部は、前記明滅位置に基づいて前記表示範囲を補正する、請求項６または７に記載の撮像装置状態監視装置。
  9. 　前記明滅判定部が、前記撮像部の撮像範囲を変更させる撮像範囲変更部に対し、前記明滅位置に基づいて前記撮像範囲を変更するように指示する、請求項８に記載の撮像装置状態監視装置。
  10. 　前記点滅発光部は赤外線ＬＥＤである、請求項１から９のいずれかに記載の撮像装置状態監視装置。
  11. 　前記撮像部は車両に搭載されたカメラであり、
    　前記点滅発光部は、前記車両の前記カメラの撮像範囲に設けられる、
    　請求項１から１０のいずれかに記載の撮像装置状態監視装置。
  12. 　前記点滅発光部は、前記車両の車体側部に設けられ、
    　前記カメラは、前記車両のサイドカメラである、
    　請求項１１に記載の撮像装置状態監視装置。
  13. 　明滅を繰り返す点滅発光部を撮像部が撮像した撮像画像を取得する第１のステップと、
    　前記撮像画像に前記明滅に対応する変化が含まれるか否かを判定する第２のステップと、
    　前記撮像画像に前記明滅に対応する変化が含まれないと判定された場合、異常への対応処理を実行する第３のステップと、
    　を備える、撮像装置状態監視方法。
  14. 　撮像装置状態監視装置が備えるコンピュータに、
    　明滅を繰り返す点滅発光部を撮像部が撮像した撮像画像を取得する第１のステップと、
    　前記明滅に対応する変化が含まれるか否かを判定する第２のステップと、
    　前記撮像画像に前記明滅に対応する変化が含まれないと判定された場合、異常への対応処理を実行する第３のステップと、
    　を実行させる、プログラム。
PCT/JP2017/040730 2016-11-18 2017-11-13 撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム WO2018092709A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112017005840.6T DE112017005840T5 (de) 2016-11-18 2017-11-13 Zustandsüberwachungsvorrichtung einer Bildaufnahmevorrichtung, Verfahren zur Zustandsüberwachung einer Bildaufnahmevorrichtung und Programm
US16/344,834 US20190253603A1 (en) 2016-11-18 2017-11-13 Image-capture device state monitoring device, image-capture device state monitoring method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016225168A JP2018082395A (ja) 2016-11-18 2016-11-18 撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム
JP2016-225168 2016-11-18

Publications (1)

Publication Number Publication Date
WO2018092709A1 true WO2018092709A1 (ja) 2018-05-24

Family

ID=62146479

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040730 WO2018092709A1 (ja) 2016-11-18 2017-11-13 撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム

Country Status (4)

Country Link
US (1) US20190253603A1 (ja)
JP (1) JP2018082395A (ja)
DE (1) DE112017005840T5 (ja)
WO (1) WO2018092709A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102279333B1 (ko) * 2017-03-07 2021-07-20 주식회사 만도 차량의 디스플레이 시스템 및 이의 구동 방법
JP6769500B2 (ja) * 2019-02-13 2020-10-14 株式会社Ｊｖｃケンウッド 車両用映像制御装置、車両用映像システム、映像制御方法、及びプログラム
CN110509873A (zh) * 2019-09-27 2019-11-29 京东方科技集团股份有限公司 倒车影像辅助装置及方法、倒车影像
US11373567B2 (en) 2020-01-24 2022-06-28 Rockwell Collins, Inc. Light modulated photodiode-based display monitor system
DE102020101794A1 (de) 2020-01-27 2021-07-29 Sick Ag Absichern einer Maschine
DE102020107016B4 (de) * 2020-03-13 2024-06-20 Mekra Lang Gmbh & Co. Kg Verfahren zum Verifizieren eines indirekten Sichtsystems sowie indirektes Sichtsystem eines Fahrzeugs
US11462192B2 (en) 2020-05-18 2022-10-04 Rockwell Collins, Inc. Flipped or frozen display monitor
US11999506B2 (en) 2021-02-16 2024-06-04 Rockwell Collins, Inc. Camera core monitor using gradient filter
KR102663270B1 (ko) * 2022-01-25 2024-05-07 현대모비스 주식회사 차량의 디스플레이 장치의 화면 정지 오류를 검출하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077952A (ja) * 2000-08-30 2002-03-15 Oki Electric Ind Co Ltd 監視カメラ診断装置
JP2007251555A (ja) * 2006-03-15 2007-09-27 Omron Corp 診断装置および方法、プログラム、並びに、記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9621827B2 (en) * 2012-05-25 2017-04-11 Sony Corporation Imaging element, driving method, and electronic apparatus
JP6228833B2 (ja) * 2013-12-20 2017-11-08 富士フイルム株式会社 撮像システム、及び内視鏡装置
JP6442910B2 (ja) 2014-08-07 2018-12-26 株式会社デンソー 表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077952A (ja) * 2000-08-30 2002-03-15 Oki Electric Ind Co Ltd 監視カメラ診断装置
JP2007251555A (ja) * 2006-03-15 2007-09-27 Omron Corp 診断装置および方法、プログラム、並びに、記録媒体

Also Published As

Publication number Publication date
DE112017005840T5 (de) 2019-08-14
US20190253603A1 (en) 2019-08-15
JP2018082395A (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
WO2018092709A1 (ja) 撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム
JP4738778B2 (ja) 画像処理装置、運転支援装置および運転支援システム
JP5983693B2 (ja) 表示機能付きミラー装置および表示切替方法
JP2008283431A (ja) 画像処理装置
JP2017208750A (ja) 映像監視装置、映像表示システム、及び車両
JP2016055782A5 (ja)
JP2010000963A (ja) ワイパ交換警告装置
WO2017204005A1 (ja) 異常検知装置及び報知装置
JP2007028540A (ja) 車両外状況提示システム及び車両外状況提示方法
KR101834807B1 (ko) 전조등 고장을 확인하는 avm 시스템 및 그 방법
WO2018143064A1 (ja) 車載カメラ
JP6229769B2 (ja) 表示機能付きミラー装置および表示切替方法
JP2006287513A (ja) 車両外状況提示システム
JP5513190B2 (ja) 車両後方監視装置および車両後方監視方法
EP3226554B1 (en) Imaging device and vehicle
JP2008193504A (ja) 暗視装置
JP2006082653A (ja) ランプ点灯状態検出装置
JP2014225728A (ja) 車両用周囲モニタ装置
JP5902051B2 (ja) 画像監視装置、車両、プログラム、および故障判別方法
WO2019215875A1 (ja) 報知制御装置および報知制御方法
WO2024135503A1 (ja) 運転者監視装置および監視プログラム
KR20220086388A (ko) 차량의 동작 제어 장치 및 방법
CN111819110A (zh) 用于监视车辆摄像机系统的设备和方法
US20240073375A1 (en) Vehicle surroundings monitoring system, vehicle, image processing device, and vehicle surroundings monitoring method
KR20190051145A (ko) 차량 외부 영상을 이용한 적응적 차량 위험 경고 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17871811

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17871811

Country of ref document: EP

Kind code of ref document: A1