WO2018225210A1 - 異常検出装置及び異常検出方法 - Google Patents

異常検出装置及び異常検出方法 Download PDF

Info

Publication number
WO2018225210A1
WO2018225210A1 PCT/JP2017/021306 JP2017021306W WO2018225210A1 WO 2018225210 A1 WO2018225210 A1 WO 2018225210A1 JP 2017021306 W JP2017021306 W JP 2017021306W WO 2018225210 A1 WO2018225210 A1 WO 2018225210A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
display
unit
abnormality
Prior art date
Application number
PCT/JP2017/021306
Other languages
English (en)
French (fr)
Inventor
将和 福地
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/021306 priority Critical patent/WO2018225210A1/ja
Priority to JP2019523289A priority patent/JP6664548B2/ja
Publication of WO2018225210A1 publication Critical patent/WO2018225210A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers

Definitions

  • the present invention relates to an abnormality detection device and an abnormality detection method for a display system.
  • the image determination apparatus disclosed in Patent Document 1 acquires a plurality of images that are temporally continuous at the same site in the display system, and detects the occurrence of freeze by comparing these images. .
  • An abnormality in the display system is not limited to freezing, and a so-called “malfunction” may occur.
  • a failure of an image processing circuit included in the display system may cause a shift between information indicated by a signal input to the display system and information indicated by an image displayed on the display system.
  • the image determination apparatus of Patent Document 1 is merely a comparison between images at the same site in the display system, and there is a problem that the occurrence of such a malfunction cannot be detected. That is, there is a problem that the number of types of abnormalities that can be detected is small.
  • the present invention has been made to solve the above-described problems, and an object thereof is to provide an abnormality detection device and an abnormality detection method capable of detecting a plurality of types of abnormality in a display system.
  • An abnormality detection device includes an information acquisition unit that acquires image generation information used for image generation by a display control device, an image acquisition unit that acquires a display image in the display device, and an image recognition process for the display image. By executing the information detection unit that detects information indicated by the display image and comparing the image generation information with the information detected by the information detection unit, occurrence of an abnormality in the display control device and the display device is detected. And an abnormality detection unit to detect.
  • the present invention since it is configured as described above, it is possible to detect a plurality of types of abnormalities in the display system.
  • FIG. 3 is a block diagram illustrating a main part of the display control device, the display device, and the abnormality detection device according to the first embodiment.
  • 3 is a block diagram illustrating a hardware configuration of a display control device, a display device, and an abnormality detection device according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating an operation of the abnormality detection device according to the first embodiment. It is explanatory drawing which shows an example of the reference image in the 1st specific example of the image recognition process which detects the vehicle speed which a speedometer shows. It is explanatory drawing which shows an example of the image binarized by the information detection part in the 1st specific example of the image recognition process which detects the vehicle speed which a speedometer shows.
  • FIG. 8A is an explanatory diagram illustrating an example of an image corresponding to a state in which a fuel warning lamp is lit.
  • FIG. 8B is an explanatory diagram illustrating an example of an image corresponding to a state where the fuel warning lamp is turned off.
  • FIG. 5 is a block diagram illustrating a hardware configuration of another display control device, a display device, and an abnormality detection device according to the first embodiment.
  • FIG. 12A is a block diagram illustrating another hardware configuration of the abnormality detection apparatus according to Embodiment 1.
  • FIG. 12B is a block diagram illustrating another hardware configuration of the abnormality detection apparatus according to Embodiment 1. It is a block diagram which shows the principal part of the display control apparatus which concerns on Embodiment 2, a display apparatus, and an abnormality detection apparatus. 6 is a flowchart illustrating an operation of the abnormality detection device according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a main part of the display control device, the display device, and the abnormality detection device according to the first embodiment.
  • the display control apparatus 100, the display apparatus 200, and the abnormality detection apparatus 300 according to the first embodiment have a display system (so-called “digital instrument panel” or “integrated instrument panel” corresponding to an automotive instrument panel. )) Will be mainly described.
  • the vehicle 1 has an electronic control unit (hereinafter referred to as “ECU”) 2.
  • the ECU 2 uses the sensors (not shown) provided in the vehicle 1 to acquire various information related to the state of the vehicle 1 (hereinafter referred to as “vehicle information”).
  • the communication between the ECU 2 and the display control device 100 can be freely performed by an in-vehicle network based on a CAN (Controller Area Network) standard. Communication between the ECU 2 and the display device 200 is also possible via this in-vehicle network.
  • the ECU 2 transmits information used for generating an image by the display control device 100 (hereinafter referred to as “image generation information”) of the vehicle information to the display control device 100 and the display device 200, respectively.
  • the image generation information includes, for example, information indicating the vehicle speed, information indicating the number of revolutions of the engine, and information indicating whether or not the remaining amount of fuel is less than a reference amount (for example, 10 liters) (that is, lighting of the fuel warning lamp) And the like).
  • information indicating the vehicle speed is used for generating an image corresponding to a speedometer (hereinafter referred to as a “speedometer”) in an automobile instrument panel.
  • a speedometer hereinafter referred to as a “speedometer”
  • Information indicating the rotational speed of the engine is used to generate an image corresponding to a tachometer (hereinafter referred to as “tachometer”) in an automotive instrument panel.
  • tachometer tachometer
  • Other information is used to generate images corresponding to various warning lights on the automotive instrument panel.
  • the display control device 100 includes a distribution unit 3, a meter drawing unit 4, a warning light drawing unit 5, and a combining unit 6.
  • An image generation unit 7 is configured by the meter drawing unit 4, the warning lamp drawing unit 5, and the combining unit 6.
  • the display control apparatus 100 includes a compression unit 8.
  • the distribution unit 3 receives the image generation information transmitted by the ECU 2.
  • the distribution unit 3 outputs information indicating the vehicle speed and information indicating the engine speed among the image generation information to the meter drawing unit 4 and other information to the warning light drawing unit 5.
  • the meter drawing unit 4 uses the information input from the distribution unit 3 to generate an image corresponding to the speedometer and an image corresponding to the tachometer. That is, the image corresponding to the speedometer indicates the vehicle speed, and the image corresponding to the tachometer indicates the engine speed.
  • the warning light drawing unit 5 uses the information input from the distribution unit 3 to generate images corresponding to various warning lights. For example, when the remaining amount of fuel is less than the reference amount, that is, when the fuel warning light needs to be turned on, the warning light drawing unit 5 generates an image corresponding to the state where the fuel warning light is turned on. On the other hand, when the remaining amount of fuel is equal to or greater than the reference amount, that is, when it is not necessary to turn on the fuel warning light, the warning light drawing unit 5 generates an image corresponding to the state where the fuel warning light is turned off.
  • the synthesizing unit 6 generates an image corresponding to the vehicle instrument panel by synthesizing the image generated by the meter drawing unit 4 and the image generated by the warning light drawing unit 5.
  • the compression unit 8 acquires image data indicating an image generated by the synthesis unit 6 and compresses the image data.
  • the compression unit 8 transmits the compressed image data to the display device 200.
  • the display device 200 includes an expansion unit 9, an expansion / contraction unit 10, a display unit 11, an image acquisition unit 12, an information detection unit 13, an information acquisition unit 14, and an abnormality detection unit 15.
  • the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 constitute an abnormality detection device 300.
  • the decompression unit 9 receives the image data transmitted from the display control apparatus 100 and decompresses the image data.
  • the expansion unit 9 outputs the expanded image data to the expansion / contraction unit 10.
  • the enlargement / reduction unit 10 enlarges or reduces the image indicated by the image data input from the extension unit 9, that is, the image corresponding to the vehicle instrument panel (hereinafter collectively referred to as “enlargement / reduction”).
  • the size is adjusted to a size suitable for display on the display unit 11.
  • the enlargement / reduction unit 10 outputs image data indicating the image after enlargement / reduction to the display unit 11 and the image acquisition unit 12, respectively.
  • the display unit 11 displays an image indicated by the image data input from the enlargement / reduction unit 10.
  • an image displayed on the display unit 11, that is, an image indicated by image data input to the display unit 11 is referred to as a “display image”.
  • the image acquisition unit 12 receives the input of the image data output by the enlargement / reduction unit 10. That is, the image acquisition unit 12 acquires a display image.
  • the information detection unit 13 performs image recognition processing on each area of the display image acquired by the image acquisition unit 12. Thereby, the information detection part 13 detects the information which the said area
  • the information detection unit 13 detects information indicating the vehicle speed by image recognition processing for an area corresponding to the speedometer in the display image. In addition, the information detection unit 13 detects information indicating the number of revolutions of the engine through image recognition processing on a region corresponding to the tachometer in the display image. In addition, the information detection unit 13 performs information recognition processing on an area corresponding to the fuel warning light in the display image, and information indicating whether or not the fuel warning light is lit, that is, the remaining amount of fuel is less than the reference amount. Information indicating whether or not there is present is acquired. Specific examples of the image recognition processing by the information detection unit 13 will be described later with reference to FIGS.
  • the information acquisition unit 14 receives the image generation information transmitted by the ECU 2. That is, the information acquisition unit 14 acquires image generation information.
  • the abnormality detection unit 15 compares the information detected by the information detection unit 13 (hereinafter referred to as “detection information”) with the image generation information acquired by the information acquisition unit 14 to thereby display the display control device 100 and the display. The occurrence of abnormality in the apparatus 200 is detected.
  • the abnormality detection unit 15 determines that both the display control device 100 and the display device 200 are normal. On the other hand, when the contents of the detection information and the contents of the image generation information do not match, the abnormality detection unit 15 includes the distribution unit 3, the meter drawing unit 4, the warning light drawing unit 5, the combining unit 6, the compression unit 8, and the decompression. It is determined that an abnormality has occurred in at least a part of the unit 9 or the expansion / contraction unit 10.
  • the display image freeze can be detected as an abnormality, and there is a gap between the information (image generation information) input to the display control device 100 and the information (detection information) indicated by the display image.
  • the occurrence can also be detected as an abnormality. That is, in the display system including the display control device 100 and the display device 200, a plurality of types of abnormalities including freeze and malfunction can be detected.
  • the function of the distribution unit 3 shown in FIG. 1 is realized by a microcontroller (hereinafter referred to as “microcomputer”) 21.
  • the function of the image generation unit 7 illustrated in FIG. 1 is realized by a system-on-chip (hereinafter referred to as “SoC”) 22 and a memory 23. That is, the memory 23 functions as a frame memory in the image generation unit 7.
  • SoC system-on-chip
  • the function of the compression unit 8 shown in FIG. 1 is realized by an integrated circuit (hereinafter referred to as “IC”) 24.
  • the function of the display unit 11 illustrated in FIG. 1 is realized by the liquid crystal module 27.
  • the IC 28 determines that both the display control device 100 and the display device 200 are normal when the content of the detection information matches the content of the image generation information. On the other hand, when the contents of the detection information and the contents of the image generation information do not match, the IC 28 determines that an abnormality has occurred in at least a part of the microcomputer 21, the SoC 22, the IC 24, the IC 25, or the IC 26.
  • the function of the display unit 11 may be realized by an organic EL (Electro Luminescence) module instead of the liquid crystal module 27. That is, the display device 200 may use a liquid crystal display, or may use an organic EL display.
  • organic EL Electro Luminescence
  • the ECU 2 is executing a process of acquiring vehicle information from the sensors and transmitting image generation information of the vehicle information to the display control device 100 and the display device 200.
  • the display control device 100 generates an image corresponding to the vehicle instrument panel using the image generation information received from the ECU 2, compresses image data indicating the image, and transmits the compressed image data to the display device 200.
  • the process to be executed is being executed.
  • the display device 200 is executing a process of expanding the image data received from the display control device 100, expanding / reducing the image indicated by the expanded image data, and displaying the expanded / reduced image.
  • the abnormality detection apparatus 300 repeatedly executes the following processes of steps ST1 to ST4.
  • step ST1 the image acquisition unit 12 receives input of image data output by the enlargement / reduction unit 10. That is, the image acquisition unit 12 acquires a display image.
  • step ST2 the information detection unit 13 executes image recognition processing for each area of the display image acquired in step ST1. Thereby, the information detection part 13 detects the information which the said each area
  • image recognition processing in step ST2 will be described later with reference to FIGS.
  • step ST3 the information acquisition unit 14 receives the image generation information transmitted by the ECU 2. That is, the information acquisition unit 14 acquires image generation information.
  • step ST4 the abnormality detection unit 15 detects the occurrence of abnormality in the display control device 100 and the display device 200 by comparing the detection information in step ST2 with the image generation information acquired in step ST3. To do.
  • the abnormality detection unit 15 determines that both the display control device 100 and the display device 200 are normal. On the other hand, when the contents of the detection information and the contents of the image generation information do not match, the abnormality detection unit 15 includes the distribution unit 3, the meter drawing unit 4, the warning light drawing unit 5, the combining unit 6, the compression unit 8, and the decompression. It is determined that an abnormality has occurred in at least a part of the unit 9 or the expansion / contraction unit 10.
  • any image corresponding to a meter or warning light on an automotive instrument panel shows vehicle information.
  • an image showing vehicle information is limited in the arrangement position of each part, a drawing pattern, and the like as compared with an image showing other types of information (for example, an entertainment-type moving image such as a movie or television broadcast).
  • the information detection unit 13 reduces the calculation amount of the IC 28 by executing a simplified image recognition process as follows.
  • the abnormality detection apparatus 300 can be realized using the IC 28 having a lower image processing capability than the SoC 22.
  • the information detection unit 13 converts, for example, a speedometer image indicating each speed per 10 kilometers per hour (km / h) into two gradations of white and black (so-called “binarization”). ) Is stored in advance.
  • the information detection unit 13 binarizes an area corresponding to the speedometer in the display image.
  • the information detection unit 13 selects a reference image closest to the binarized image by pattern matching between the binarized image and each reference image.
  • the information detection unit 13 detects the speed indicated by the selected reference image as the vehicle speed indicated by the speedometer.
  • FIG. 4 shows an example of the reference images RI1 0 to RI1 180 (RI1 20 to RI1 170 are not shown), and FIG. 5 shows an example of the image I1 60 binarized by the information detection unit 13. Show.
  • the information detection unit 13 selects the reference image RI1 60 closest to the image I1 60 by pattern matching between the binarized image I1 60 and each of the reference images RI1 0 to RI1 180 .
  • the information detection unit 13 detects the speed (60 km / h) indicated by the selected reference image RI1 60 as the vehicle speed indicated by the speedometer.
  • the information detection unit 13 stores in advance a reference image obtained by extracting a part corresponding to a needle of the speedometer from an image of a speedometer indicating each speed, for example, every 10 km / h. Yes.
  • the information detection unit 13 extracts a portion corresponding to the speedometer needle from a region corresponding to the speedometer in the display image by processing such as so-called “edge detection”.
  • the information detection unit 13 selects a reference image closest to the extracted image by pattern matching between the extracted image and each reference image.
  • the information detection unit 13 detects the speed indicated by the selected reference image as the vehicle speed indicated by the speedometer.
  • FIG. 6 shows an example of the reference images RI2 0 to RI2 180 (RI2 20 to RI2 170 are not shown), and FIG. 7 shows an example of the image I2 60 extracted by the information detection unit 13. Yes.
  • the broken line portion is shown for convenience, and is a portion not included in each actual image.
  • the information detection unit 13 selects the reference image RI2 60 that is the closest to the image I2 60 by pattern matching between the extracted image I2 60 and each of the reference images RI2 0 to RI2 180 .
  • the information detection unit 13 detects the speed (60 km / h) indicated by the selected reference image RI2 60 as the vehicle speed indicated by the speedometer.
  • the information detection unit 13 has, for example, a table that associates each speed for every 10 km / h with the angle of the needle of the speedometer when the speedometer indicates each speed (hereinafter, “Angle-speed table” is stored in advance.
  • the information detection unit 13 extracts a portion corresponding to the needle of the speedometer from the region corresponding to the speedometer in the display image by processing such as edge detection.
  • the information detection unit 13 acquires a speed corresponding to an angle closest to the detected needle angle among the speeds included in the angle-speed table.
  • the information detection unit 13 detects the acquired speed as the vehicle speed indicated by the speedometer.
  • the information indicating whether or not the information indicating the vehicle speed in the abnormality detecting unit 15 is determined to be completely consistent. It is preferable to determine whether or not they substantially match. Specifically, for example, when the difference value between the vehicle speed indicated by the image generation information and the vehicle speed indicated by the detection information is less than 6 km / h, the abnormality detection unit 15 determines that the vehicle speed indicated by both pieces of information matches. judge. On the other hand, when the difference value between the vehicle speed indicated by the image generation information and the vehicle speed indicated by the detection information is 6 km / h or more, the abnormality detection unit 15 determines that the vehicle speed indicated by both pieces of information does not match.
  • a specific example of the image recognition processing for the region corresponding to the tachometer in the display image that is, the image recognition processing for detecting the engine speed indicated by the tachometer is the same as the first to third specific examples. Therefore, illustration and description are omitted.
  • the information detection unit 13 calculates the accumulated luminance value L by adding the luminance value of each pixel in the region corresponding to the fuel warning light in the display image.
  • a threshold value Lth to be compared with the accumulated luminance value L is set in advance.
  • the information detection unit 13 compares the accumulated luminance value L with the threshold value Lth.
  • the information detection unit 13 determines that the fuel warning lamp is in a lighting state when the accumulated luminance value L is equal to or greater than the threshold value Lth (that is, according to the display image, the remaining amount of fuel is less than the reference amount). ). On the other hand, when the accumulated luminance value L is less than the threshold value Lth, the information detection unit 13 determines that the fuel warning lamp is in an extinguished state (that is, according to the display image, the remaining amount of fuel is greater than or equal to the reference amount). Detect that there is.)
  • the accumulated luminance value L of the image is a constant value (L1 shown in FIG. 9).
  • the cumulative luminance value of the image is also a constant value (L2 shown in FIG. 9). Therefore, a threshold value Lth smaller than L1 and larger than L2 is set in advance in the information detection unit 13.
  • a specific example of the image recognition processing for the region corresponding to another warning light different from the fuel warning light in the display region, that is, the image recognition processing for detecting whether or not the other warning light is lit is described above. Since it is the same as that of a specific example, illustration and description are omitted. However, since the accumulated luminance value L1 of the image corresponding to the lighting state is different for each type of warning light, it is preferable to set the threshold value Lth for each type of warning light.
  • the image generation information is not limited to vehicle information, and may be any information as long as it can be detected by image recognition processing.
  • the image generated by the display control device 100 is not limited to the image corresponding to the vehicle instrument panel as long as it shows information for image generation.
  • the information detection unit 13 performs the normal image recognition processing that is not simplified (for example, pattern matching between the entire image that is not binarized and the reference image, etc.) to thereby display the information indicated by the display image. It may be detected. Alternatively, in this case, the information detection unit 13 may detect information indicated by the display image with high accuracy by executing an image recognition process based on the result of machine learning.
  • each of the display control device 100 and the display device 200 may receive image generation information from another device different from the ECU 2. Specifically, for example, each of the display control device 100 and the display device 200 may receive image generation information from a portable information terminal such as a smartphone brought into the vehicle 1. Alternatively, for example, each of the display control device 100 and the display device 200 may receive image generation information from a vehicle-mounted device such as a GPS (Global Positioning System) receiver mounted on the vehicle 1.
  • GPS Global Positioning System
  • the use of the display control device 100 and the display device 200 is not limited to a display system corresponding to an automotive instrument panel.
  • the display device 200 is attached to the dashboard of the vehicle 1, and the display control device 100 generates various images for car navigation, or generates various images for display audio. There may be.
  • the display device 200 may be provided in the rear seat of the vehicle 1, and the display control device 100 may generate various images for RSE (Rear Seat Entertainment).
  • RSE Rear Seat Entertainment
  • the abnormality detection device 300 can be used for abnormality detection in the display control device 100 and the display device 200 for any application, such as portable, household, or industrial.
  • the display control device 100 may be configured integrally with the display device 200. Block diagrams in this case are shown in FIGS. In this case, the compression unit 8 and the expansion unit 9 are unnecessary as shown in FIG. 10, and the IC 24 and the IC 25 are unnecessary as shown in FIG.
  • the abnormality detection unit 15 illustrated in FIG. 10 distributes the meter 3, the meter drawing unit 4, the warning light drawing unit 5, the combining unit 6 or the enlargement / reduction unit 10. It is determined that an abnormality has occurred in at least a part of these.
  • the IC 28 shown in FIG. 11 determines that an abnormality has occurred in at least a part of the microcomputer 21, the SoC 22, or the IC 26 when the contents of the detection information and the contents of the image generation information do not match.
  • the hardware of the abnormality detection device 300 is not limited to the IC 28. With reference to FIG. 12, another example of the hardware configuration of the abnormality detection apparatus 300 will be described.
  • the abnormality detection device 300 is configured by a computer and includes a processor 31 and a memory 32.
  • the memory 32 stores a program for causing the computer to function as the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 illustrated in FIG.
  • the processor 31 reads and executes the program stored in the memory 32, the functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 are realized.
  • the processor 31 includes, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor).
  • the memory 32 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Erasable Semiconductor Memory, etc.).
  • the optical disk or magneto-optical disk is used.
  • the functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 may be realized by a dedicated processing circuit 33.
  • the processing circuit 33 may be, for example, an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), an FPGA (Field-Programmable Gate Array), a SoC (System-LargeSemiCrySigleSigleSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigure). Or a combination of
  • the functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 may be realized by the processing circuit 33, or the functions of the units may be realized by the processing circuit 33. May be. Further, some of the functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 are realized by the processor 31 and the memory 32 illustrated in FIG. 12A, and the remaining functions are illustrated in FIG. 12B. It may be realized by the processing circuit 33.
  • the abnormality detection device 300 includes the information acquisition unit 14 that acquires image generation information used for generating an image by the display control device 100, and an image that acquires a display image on the display device 200.
  • the acquisition unit 12, the information detection unit 13 that detects information indicated by the display image by executing image recognition processing on the display image, and the image generation information and the information detected by the information detection unit 13 are compared.
  • the display control device 100 and the display device 200 are provided with an abnormality detection unit 15 that detects the occurrence of an abnormality.
  • the display image freeze can be detected as an abnormality, and there is a gap between the information (image generation information) input to the display control device 100 and the information (detection information) indicated by the display image.
  • the occurrence can also be detected as an abnormality. That is, in the display system including the display control device 100 and the display device 200, a plurality of types of abnormalities including freeze and malfunction can be detected.
  • the information detection unit 13 performs a simplified image recognition process as compared to the case where the display image is an image showing another type of information different from the vehicle information. Execute. Thereby, the calculation amount of the IC 28 shown in FIG. 2, the processor 31 shown in FIG. 12A, or the processing circuit 33 shown in FIG. 12B can be reduced. As a result, the abnormality detection device 300 can be realized by using the IC 28, the processor 31, or the processing circuit 33 having a lower image processing capability than the SoC 22.
  • the information detection unit 13 binarizes an area corresponding to the meter in the display image indicating the vehicle information, and detects a numerical value indicated by the meter by pattern matching between the binarized image and the reference image. .
  • numerical values such as the vehicle speed indicated by the speedometer or the rotation speed indicated by the tachometer can be detected by the simplified image recognition processing (first specific example).
  • the information detection part 13 extracts the part corresponding to the needle
  • the information detection unit 13 extracts a portion corresponding to the meter needle from the region corresponding to the meter in the display image indicating the vehicle information, and detects a numerical value indicated by the meter based on the angle of the needle.
  • numerical values such as the vehicle speed indicated by the speedometer or the rotational speed indicated by the tachometer can be detected by the simplified image recognition processing (third specific example).
  • the information detection unit 13 calculates a cumulative luminance value L in a region corresponding to the warning lamp in the display image indicating the vehicle information, and compares the cumulative luminance value L with a threshold value Lth to turn on the warning lamp. It is detected whether it is doing. Thereby, it is possible to detect whether various warning lights such as a fuel warning lamp are lit by a simplified image recognition process.
  • the information acquisition unit 14 acquires image generation information from the electronic control unit (ECU) 2, the portable information terminal, or the vehicle-mounted device. Thereby, when the abnormality detection apparatus 300 is applied to the vehicle-mounted display control apparatus 100 and the display apparatus 200, various image generation information can be acquired according to the uses of the display control apparatus 100 and the display apparatus 200. .
  • the information acquisition unit 14 acquires image generation information used for generating an image by the display control device 100 (step ST3), and the image acquisition unit 12 displays the information.
  • the unit 15 includes a step (step ST4) of detecting the occurrence of an abnormality in the display control device 100 and the display device 200 by comparing the image generation information with the information detected by the information detection unit 13.
  • FIG. FIG. 13 is a block diagram illustrating main parts of the display control device, the display device, and the abnormality detection device according to the second embodiment.
  • the display control device 100a, the display device 200a, and the abnormality detection device 300a of the second embodiment will be described focusing on an example applied to a display system corresponding to an automotive instrument panel.
  • FIG. 13 the same blocks as those shown in FIG.
  • the hardware configurations of the display control device 100a, the display device 200a, and the abnormality detection device 300a are the same as those described with reference to FIG.
  • the abnormality detection device 300 a has a notification control unit 16.
  • the notification control unit 16 displays an image indicating that the abnormality has occurred (hereinafter referred to as an “abnormality notification image”) other display device 400 different from the display device 200a.
  • At least one of the control to be displayed on the screen and the control to output the sound indicating that the abnormality has occurred (hereinafter referred to as “abnormality notification sound”) to the sound output device 500 is executed.
  • the display device 400 is configured by a display such as a liquid crystal display or an organic EL display, for example.
  • the display device 400 is attached to, for example, a dashboard of the vehicle 1 and displays various images for car navigation or various images for display audio.
  • the display device 400 is configured by a display of a portable information terminal such as a smartphone or PND (Portable Navigation Device) brought into the vehicle 1.
  • a portable information terminal such as a smartphone or PND (Portable Navigation Device) brought into the vehicle 1.
  • the audio output device 500 is composed of, for example, one or more speakers mounted on the vehicle 1.
  • the abnormality detection apparatus 300a has a return control unit 17.
  • the return control unit 17 instructs the display control device 100a to execute a reset process when an abnormality is detected by the abnormality detection unit 15.
  • the display control device 100a has a function of resetting itself in response to an instruction from the abnormality detection device 300a.
  • step ST4 If no abnormality is detected in step ST4 (step ST5 “NO”), the process of the abnormality detection device 300a returns to step ST1. On the other hand, when an abnormality is detected in step ST4 (step ST5 “YES”), the information detection unit 13 notifies the notification control unit 16 and the return control unit 17 accordingly. Thereby, the process of the abnormality detection apparatus 300a proceeds to steps ST6 and ST7.
  • step ST6 the notification control unit 16 executes at least one of control for displaying the abnormality notification image on the display device 400 or control for outputting the abnormality notification sound to the audio output device 500. Thereby, it is possible to notify the user that an abnormality has occurred in the display control device 100a or the display device 200a.
  • step ST7 the return control unit 17 instructs the display control device 100a to execute a reset process.
  • a temporary abnormality for example, software abnormality
  • the display control apparatus 100a can be returned to a normal state by reset.
  • the abnormality detection device 300a may include only one of the notification control unit 16 and the return control unit 17. That is, the abnormality detection apparatus 300a may execute only one of the process in step ST6 or the process in step ST7.
  • the abnormality notification image indicates that the display control device 100a is reset in addition to the occurrence of the abnormality. May be.
  • the abnormality notification sound may indicate that the display control apparatus 100a is reset in addition to the occurrence of the abnormality.
  • the notification control unit 16 may display an abnormality notification image on the display unit 11 of the display device 200 instead of or in addition to the display device 400.
  • the display control device 100a, the display device 200a, and the abnormality detection device 300a according to the second embodiment can be applied to the display control device 100a, the display device 200a, and the abnormality detection device 300a according to the second embodiment.
  • the hardware configuration of the abnormality detection apparatus 300a may be the same as that described with reference to FIG. 12 in the first embodiment.
  • the abnormality detection device 300a displays an image indicating that an abnormality has occurred on another display device 400 different from the display device 200a.
  • the notification control unit 16 executes at least one of control to display or control to output sound indicating that an abnormality has occurred to the audio output device 500. Thereby, it is possible to notify the user that an abnormality has occurred in the display control device 100a or the display device 200a.
  • the abnormality detection device 300a includes a return control unit 17 that instructs the display control device 100a to execute a reset process when an abnormality occurrence is detected by the abnormality detection unit 15.
  • a temporary abnormality for example, software abnormality
  • the display control apparatus 100a can be returned to a normal state by reset.
  • the abnormality detection device and abnormality detection method of the present invention can be applied to a display system corresponding to an automotive instrument panel, for example.
  • 1 vehicle 2 electronic control unit (ECU), 3 distribution unit, 4 meter drawing unit, 5 warning light drawing unit, 6 composition unit, 7 image generation unit, 8 compression unit, 9 expansion unit, 10 expansion / contraction unit, 11 display unit , 12 Image acquisition unit, 13 Information detection unit, 14 Information acquisition unit, 15 Abnormality detection unit, 16 Notification control unit, 17 Return control unit, 21 Microcontroller (microcomputer), 22 System on chip (SoC), 23 Memory, 24 Integrated circuit (IC), 25 Integrated circuit (IC), 26 Integrated circuit (IC), 27 Liquid crystal module, 28 Integrated circuit (IC), 31 Processor, 32 Memory, 33 Processing circuit, 100, 100a Display control device, 200, 200a display device, 300, 300a abnormality detection device, 400 display device, 500 audio output device .
  • ECU electronice control unit
  • 3 distribution unit 4 meter drawing unit
  • 5 warning light drawing unit 6 composition unit
  • 7 image generation unit 8 compression unit
  • 9 expansion unit 10 expansion / contraction unit
  • 11 display unit 12 Image acquisition unit
  • 13 Information detection unit 14 Information acquisition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

異常検出装置（３００）は、表示制御装置（１００）による画像の生成に用いられる画像生成用情報を取得する情報取得部（１４）と、表示装置（２００）における表示画像を取得する画像取得部（１２）と、表示画像に対する画像認識処理を実行することにより、表示画像が示す情報を検出する情報検出部（１３）と、画像生成用情報と情報検出部（１３）にて検出された情報とを比較することにより、表示制御装置（１００）及び表示装置（２００）における異常の発生を検出する異常検出部（１５）とを備える。

Description

異常検出装置及び異常検出方法
　本発明は、表示システム用の異常検出装置及び異常検出方法に関する。
　従来、車載用の表示システムにおいて、いわゆる「フリーズ」の発生を検出する技術が開発されている。例えば、特許文献１の画像判断装置は、表示システム内の同一の部位において時間的に連続した複数枚の画像を取得して、これらの画像同士を比較することによりフリーズの発生を検出している。
特開２００９－２７８３４０号公報
　表示システムにおける異常はフリーズに限定されるものではなく、いわゆる「誤動作」が発生することもある。例えば、表示システムに含まれる画像処理用の回路の故障により、表示システムに入力される信号が示す情報と表示システムにて表示される画像が示す情報との間にずれが生ずることがある。特許文献１の画像判断装置は、表示システム内の同一部位における画像同士を比較するものに過ぎず、このような誤動作の発生を検出することができない問題があった。すなわち、検出可能な異常の種類が少ないという問題があった。
　本発明は、上記のような課題を解決するためになされたものであり、表示システムにおける複数種類の異常を検出可能な異常検出装置及び異常検出方法を提供することを目的とする。
　本発明の異常検出装置は、表示制御装置による画像の生成に用いられる画像生成用情報を取得する情報取得部と、表示装置における表示画像を取得する画像取得部と、表示画像に対する画像認識処理を実行することにより、表示画像が示す情報を検出する情報検出部と、画像生成用情報と情報検出部にて検出された情報とを比較することにより、表示制御装置及び表示装置における異常の発生を検出する異常検出部とを備えるものである。
　本発明によれば、上記のように構成したので、表示システムにおける複数種類の異常を検出することができる。
実施の形態１に係る表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。 実施の形態１に係る表示制御装置、表示装置及び異常検出装置のハードウェア構成を示すブロック図である。 実施の形態１に係る異常検出装置の動作を示すフローチャートである。 スピードメーターが示す車速を検出する画像認識処理の第１の具体例における、参照画像の一例を示す説明図である。 スピードメーターが示す車速を検出する画像認識処理の第１の具体例における、情報検出部により２値化された画像の一例を示す説明図である。 スピードメーターが示す車速を検出する画像認識処理の第２の具体例における、参照画像の一例を示す説明図である。 スピードメーターが示す車速を検出する画像認識処理の第２の具体例における、情報検出部により抽出された画像の一例を示す説明図である。 図８Ａは、燃料警告灯が点灯した状態に対応する画像の一例を示す説明図である。図８Ｂは、燃料警告灯が消灯した状態に対応する画像の一例を示す説明図である。 燃料警告灯が点灯した状態に対応する画像の累積輝度値と、燃料警告灯が消灯した状態に対応する画像の累積輝度値と、累積輝度値に対する比較対象となる閾値との一例を示す説明図である。 実施の形態１に係る他の表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。 実施の形態１に係る他の表示制御装置、表示装置及び異常検出装置のハードウェア構成を示すブロック図である。 図１２Ａは、実施の形態１に係る異常検出装置の他のハードウェア構成を示すブロック図である。図１２Ｂは、実施の形態１に係る異常検出装置の他のハードウェア構成を示すブロック図である。 実施の形態２に係る表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。 実施の形態２に係る異常検出装置の動作を示すフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。図１を参照して、実施の形態１の表示制御装置１００、表示装置２００及び異常検出装置３００について、自動車用計器盤に対応する表示システム（いわゆる「デジタルインストルメントパネル」又は「統合インストルメントパネル」）に適用した例を中心に説明する。
　図１に示す如く、車両１は電子制御ユニット（以下「ＥＣＵ」という。）２を有している。ＥＣＵ２は、車両１に設けられた図示しないセンサ類を用いて、車両１の状態に関する各種情報（以下「車両情報」という。）を取得するものである。
　ＥＣＵ２と表示制御装置１００間は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）規格に基づく車載ネットワークにより通信自在である。ＥＣＵ２と表示装置２００間も、この車載ネットワークにより通信自在である。ＥＣＵ２は、車両情報のうち、表示制御装置１００による画像の生成に用いられる情報（以下「画像生成用情報」という。）を表示制御装置１００及び表示装置２００にそれぞれ送信するものである。
　画像生成用情報は、例えば、車速を示す情報、エンジンの回転数を示す情報、及び燃料の残量が基準量（例えば１０リットル）未満であるか否かを示す情報（すなわち燃料警告灯の点灯の要否を示す情報）などを含むものである。これらの情報のうち、車速を示す情報は、自動車用計器盤における速度計（以下「スピードメーター」という。）に対応する画像の生成に用いられる。エンジンの回転数を示す情報は、自動車用計器盤における回転速度計（以下「タコメーター」という。）に対応する画像の生成に用いられる。その他の情報は、自動車用計器盤における各種警告灯に対応する画像の生成に用いられる。
　表示制御装置１００は、分配部３、メーター描画部４、警告灯描画部５及び合成部６を有している。メーター描画部４、警告灯描画部５及び合成部６により画像生成部７が構成されている。また、表示制御装置１００は圧縮部８を有している。
　分配部３は、ＥＣＵ２により送信された画像生成用情報を受信するものである。分配部３は、画像生成用情報のうち、車速を示す情報及びエンジンの回転数を示す情報をメーター描画部４に出力するとともに、その他の情報を警告灯描画部５に出力するものである。
　メーター描画部４は、分配部３から入力された情報を用いて、スピードメーターに対応する画像及びタコメーターに対応する画像を生成するものである。すなわち、スピードメーターに対応する画像は車速を示すものであり、タコメーターに対応する画像はエンジンの回転数を示すものである。
　警告灯描画部５は、分配部３から入力された情報を用いて、各種警告灯に対応する画像を生成するものである。例えば、燃料の残量が基準量未満である場合、すなわち燃料警告灯の点灯が必要である場合、警告灯描画部５は燃料警告灯が点灯した状態に対応する画像を生成する。他方、燃料の残量が基準量以上である場合、すなわち燃料警告灯の点灯が不要である場合、警告灯描画部５は燃料警告灯が消灯した状態に対応する画像を生成する。
　合成部６は、メーター描画部４により生成された画像と警告灯描画部５により生成された画像とを合成することにより、自動車用計器盤に対応する画像を生成するものである。
　圧縮部８は、合成部６により生成された画像を示す画像データを取得して、当該画像データを圧縮するものである。圧縮部８は、圧縮後の画像データを表示装置２００に送信するものである。
　表示装置２００は、伸張部９、拡縮部１０、表示部１１、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５を有している。画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５により異常検出装置３００が構成されている。
　伸張部９は、表示制御装置１００により送信された画像データを受信して、当該画像データを伸張するものである。伸張部９は、伸張後の画像データを拡縮部１０に出力するものである。
　拡縮部１０は、伸張部９から入力された画像データが示す画像、すなわち自動車用計器盤に対応する画像を拡大又は縮小（以下、総称して「拡縮」という。）することにより、当該画像のサイズを表示部１１における表示に適したサイズに調整するものである。拡縮部１０は、拡縮後の画像を示す画像データを表示部１１及び画像取得部１２にそれぞれ出力するものである。
　表示部１１は、拡縮部１０から入力された画像データが示す画像を表示するものである。以下、表示部１１に表示される画像、すなわち表示部１１に入力される画像データが示す画像を「表示画像」という。
　画像取得部１２は、拡縮部１０により出力された画像データの入力を受け付けるものである。すなわち、画像取得部１２は表示画像を取得するものである。
　情報検出部１３は、画像取得部１２により取得された表示画像の各領域に対する画像認識処理を実行するものである。これにより、情報検出部１３は当該各領域が示す情報を検出するものである。
　具体的には、例えば、情報検出部１３は、表示画像のうちのスピードメーターに対応する領域に対する画像認識処理により、車速を示す情報を検出する。また、情報検出部１３は、表示画像のうちのタコメーターに対応する領域に対する画像認識処理により、エンジンの回転数を示す情報を検出する。また、情報検出部１３は、表示画像のうちの燃料警告灯に対応する領域に対する画像認識処理により、燃料警告灯が点灯しているか否かを示す情報、すなわち燃料の残量が基準量未満であるか否かを示す情報を取得する。情報検出部１３による画像認識処理の具体例については、図４～図９を参照して後述する。
　情報取得部１４は、ＥＣＵ２により送信された画像生成用情報を受信するものである。すなわち、情報取得部１４は画像生成用情報を取得するものである。
　異常検出部１５は、情報検出部１３により検出された情報（以下「検出情報」という。）と情報取得部１４により取得された画像生成用情報とを比較することにより、表示制御装置１００及び表示装置２００における異常の発生を検出するものである。
　すなわち、検出情報の内容と画像生成用情報の内容とが一致している場合、異常検出部１５は、表示制御装置１００及び表示装置２００がいずれも正常であると判定する。他方、検出情報の内容と画像生成用情報の内容とが不一致である場合、異常検出部１５は、分配部３、メーター描画部４、警告灯描画部５、合成部６、圧縮部８、伸張部９又は拡縮部１０のうちの少なくとも一部に異常が発生していると判定する。
　これにより、表示画像のフリーズを異常として検出することができるのはもちろん、表示制御装置１００に入力される情報（画像生成用情報）と表示画像が示す情報（検出情報）との間にずれが生じていることも異常として検出することができる。すなわち、表示制御装置１００及び表示装置２００を含む表示システムにおいて、フリーズ及び誤動作を含む複数種類の異常を検出することができる。
　次に、図２を参照して、表示制御装置１００、表示装置２００及び異常検出装置３００のハードウェア構成の一例について説明する。
　図１に示す分配部３の機能は、マイクロコントローラ（以下「マイコン」という。）２１により実現される。図１に示す画像生成部７の機能は、システムオンチップ（以下「ＳｏＣ」という。）２２及びメモリ２３により実現される。すなわち、メモリ２３は画像生成部７におけるフレームメモリの機能を果たすものである。図１に示す圧縮部８の機能は、集積回路（以下「ＩＣ」という。）２４により実現される。
　また、図１に示す伸張部９の機能は、ＩＣ２５により実現される。図１に示す拡縮部１０の機能は、ＩＣ２６により実現される。図１に示す表示部１１の機能は、液晶モジュール２７により実現される。図１に示す画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５の機能は、ＩＣ２８により実現される。
　ＩＣ２８は、検出情報の内容と画像生成用情報の内容とが一致している場合、表示制御装置１００及び表示装置２００がいずれも正常であると判定する。他方、検出情報の内容と画像生成用情報の内容とが不一致である場合、ＩＣ２８は、マイコン２１、ＳｏＣ２２、ＩＣ２４、ＩＣ２５又はＩＣ２６のうちの少なくとも一部に異常が発生していると判定する。
　なお、表示部１１の機能は、液晶モジュール２７に代えて有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）モジュールにより実現されるものであっても良い。すなわち、表示装置２００は液晶ディスプレイを用いたものであっても良く、又は有機ＥＬディスプレイを用いたものであっても良い。
　次に、図３のフローチャートを参照して、異常検出装置３００の動作について説明する。
　ＥＣＵ２は、センサ類から車両情報を取得し、車両情報のうちの画像生成用情報を表示制御装置１００及び表示装置２００に送信する処理を実行中である。表示制御装置１００は、ＥＣＵ２から受信した画像生成用情報を用いて自動車用計器盤に対応する画像を生成し、当該画像を示す画像データを圧縮し、圧縮後の画像データを表示装置２００に送信する処理を実行中である。表示装置２００は、表示制御装置１００から受信した画像データを伸張し、伸張後の画像データが示す画像を拡縮し、拡縮後の画像を表示する処理を実行中である。これらの処理のバックグラウンドにて、異常検出装置３００が以下のステップＳＴ１～ＳＴ４の処理を繰り返し実行する。
　まず、ステップＳＴ１にて、画像取得部１２は、拡縮部１０により出力された画像データの入力を受け付ける。すなわち、画像取得部１２は表示画像を取得する。
　次いで、ステップＳＴ２にて、情報検出部１３は、ステップＳＴ１で取得された表示画像の各領域に対する画像認識処理を実行する。これにより、情報検出部１３は当該各領域が示す情報を検出する。ステップＳＴ２における画像認識処理の具体例については、図４～図９を参照して後述する。
　次いで、ステップＳＴ３にて、情報取得部１４は、ＥＣＵ２により送信された画像生成用情報を受信する。すなわち、情報取得部１４は画像生成用情報を取得する。
　次いで、ステップＳＴ４にて、異常検出部１５は、ステップＳＴ２における検出情報とステップＳＴ３で取得された画像生成用情報とを比較することにより、表示制御装置１００及び表示装置２００における異常の発生を検出する。
　すなわち、検出情報の内容と画像生成用情報の内容とが一致している場合、異常検出部１５は、表示制御装置１００及び表示装置２００がいずれも正常であると判定する。他方、検出情報の内容と画像生成用情報の内容とが不一致である場合、異常検出部１５は、分配部３、メーター描画部４、警告灯描画部５、合成部６、圧縮部８、伸張部９又は拡縮部１０のうちの少なくとも一部に異常が発生していると判定する。
　次に、図４～図９を参照して、情報検出部１３による画像認識処理の具体例について説明する。
　自動車用計器盤におけるメーター又は警告灯に対応する画像は、いずれも車両情報を示すものである。通常、車両情報を示す画像は、他の種類の情報を示す画像（例えば映画又はテレビジョン放送などのエンターテインメント系の動画像）に比して、各パーツの配置位置及び描画パターンなどが限定されている。そこで、情報検出部１３は、以下のように簡略化された画像認識処理を実行することにより、ＩＣ２８の演算量を低減する。この結果、ＳｏＣ２２に比して画像処理能力の低いＩＣ２８を用いて異常検出装置３００を実現することができる。
　まず、表示画像のうちのスピードメーターに対応する領域に対する画像認識処理、すなわち当該スピードメーターが示す車速を検出する画像認識処理の具体例について三つ説明する。
　第１の具体例において、情報検出部１３には、例えば１０キロメートル毎時（ｋｍ／ｈ）ごとの各速度を示すスピードメーターの画像を白と黒の２階調に変換（いわゆる「２値化」）してなる参照画像が予め記憶されている。情報検出部１３は、表示画像のうちのスピードメーターに対応する領域を２値化する。情報検出部１３は、当該２値化された画像と各参照画像とのパターンマッチングにより、当該２値化された画像に最も近い参照画像を選択する。情報検出部１３は、当該選択された参照画像が示す速度を当該スピードメーターが示す車速として検出する。
　図４は参照画像ＲＩ１０～ＲＩ１１８０の一例を示しており（ＲＩ１２０～ＲＩ１１７０は図示を省略している）、図５は情報検出部１３により２値化された画像Ｉ１６０の一例を示している。この場合、情報検出部１３は、２値化された画像Ｉ１６０と参照画像ＲＩ１０～ＲＩ１１８０の各々とのパターンマッチングにより、画像Ｉ１６０に最も近い参照画像ＲＩ１６０を選択する。情報検出部１３は、選択された参照画像ＲＩ１６０が示す速度（６０ｋｍ／ｈ）をスピードメーターが示す車速として検出する。
　第２の具体例において、情報検出部１３には、例えば１０ｋｍ／ｈごとの各速度を示すスピードメーターの画像から当該スピードメーターの針に対応する部分を抽出してなる参照画像が予め記憶されている。情報検出部１３は、いわゆる「エッジ検出」などの処理により、表示画像のうちのスピードメーターに対応する領域から当該スピードメーターの針に対応する部分を抽出する。情報検出部１３は、当該抽出された画像と各参照画像とのパターンマッチングにより、当該抽出された画像に最も近い参照画像を選択する。情報検出部１３は、当該選択された参照画像が示す速度を当該スピードメーターが示す車速として検出する。
　図６は参照画像ＲＩ２０～ＲＩ２１８０の一例を示しており（ＲＩ２２０～ＲＩ２１７０は図示を省略している）、図７は情報検出部１３により抽出された画像Ｉ２６０の一例を示している。図中、破線部は便宜上示したものであり、実際の各画像には含まれない部位である。この場合、情報検出部１３は、抽出された画像Ｉ２６０と参照画像ＲＩ２０～ＲＩ２１８０の各々とのパターンマッチングにより、画像Ｉ２６０に最も近い参照画像ＲＩ２６０を選択する。情報検出部１３は、選択された参照画像ＲＩ２６０が示す速度（６０ｋｍ／ｈ）をスピードメーターが示す車速として検出する。
　第３の具体例において、情報検出部１３には、例えば１０ｋｍ／ｈごとの各速度と、スピードメーターが当該各速度を示すときの当該スピードメーターの針の角度とを対応させたテーブル（以下「角度－速度テーブル」という。）が予め記憶されている。
　情報検出部１３は、エッジ検出などの処理により、表示画像のうちのスピードメーターに対応する領域から当該スピードメーターの針に対応する部分を抽出する。情報検出部１３は、角度－速度テーブルに含まれる速度のうち、当該検出された針の角度に最も近い角度に対応する速度を取得する。情報検出部１３は、当該取得した速度を当該スピードメーターが示す車速として検出する。
　なお、情報検出部１３が上記第１～第３の具体例による画像認識処理を実行する場合、異常検出部１５における車速を示す情報の一致不一致判定は、完全に一致しているか否かを判定するものではなく略一致しているか否かを判定するものとするのが好適である。具体的には、例えば、異常検出部１５は、画像生成用情報が示す車速と検出情報が示す車速との差分値が６ｋｍ／ｈ未満である場合、両情報の示す車速が一致していると判定する。他方、画像生成用情報が示す車速と検出情報が示す車速との差分値が６ｋｍ／ｈ以上である場合、異常検出部１５は、両情報の示す車速が不一致であると判定する。
　また、表示画像のうちのタコメーターに対応する領域に対する画像認識処理、すなわち当該タコメーターが示すエンジンの回転数を検出する画像認識処理の具体例は、上記第１～第３の具体例と同様であるため図示及び説明を省略する。
　次に、表示画像のうちの燃料警告灯に対応する領域に対する画像認識処理、すなわち当該燃料警告灯が点灯しているか否かを検出する画像認識処理の具体例について説明する。
　情報検出部１３は、表示画像のうちの燃料警告灯に対応する領域における各画素の輝度値を加算することにより、累積輝度値Ｌを算出する。情報検出部１３には、累積輝度値Ｌに対する比較対象となる閾値Ｌｔｈが予め設定されている。情報検出部１３は、累積輝度値Ｌと閾値Ｌｔｈとを比較する。
　情報検出部１３は、累積輝度値Ｌが閾値Ｌｔｈ以上の値である場合、燃料警告灯が点灯状態であると判定する（すなわち、表示画像によれば燃料の残量が基準量未満であることを検出する。）。他方、累積輝度値Ｌが閾値Ｌｔｈ未満の値である場合、情報検出部１３は、燃料警告灯が消灯状態であると判定する（すなわち、表示画像によれば燃料の残量が基準量以上であることを検出する。）。
　ここで、燃料警告灯が点灯した状態に対応する画像は予め設定された画像であるため（図８Ａ参照）、当該画像の累積輝度値Ｌは一定値となる（図９に示すＬ１）。他方、燃料警告灯が消灯した状態に対応する画像は黒一色であるため（図８Ｂ参照）、当該画像の累積輝度値も一定値となる（図９に示すＬ２）。そこで、情報検出部１３には、Ｌ１よりも小さくかつＬ２よりも大きい閾値Ｌｔｈを予め設定しておく。
　なお、表示領域のうちの燃料警告灯と異なる他の警告灯に対応する領域に対する画像認識処理、すなわち当該他の警告灯が点灯しているか否かを検出する画像認識処理の具体例は、上記具体例と同様であるため図示及び説明を省略する。ただし、警告灯の種類ごとに点灯状態に対応する画像の累積輝度値Ｌ１が異なるため、警告灯の種類ごとに閾値Ｌｔｈを設定するのが好適である。
　なお、画像生成用情報は車両情報に限定されるものではなく、画像認識処理により検出可能な情報であれば如何なる情報であっても良い。表示制御装置１００により生成される画像は、画像生成用情報を示すものであれば良く、自動車用計器盤に対応する画像に限定されるものではない。
　ただし、画像生成用情報が車両情報と異なる他の種類の情報を含むものである場合、表示画像が複雑になり、上記のように簡略化された画像認識処理を用いることができない可能性がある。この場合、情報検出部１３は、簡略化されていない通常の画像認識処理（例えば２値化されていない全体画像と参照画像とのパターンマッチングなど）を実行することにより、表示画像が示す情報を検出するものであっても良い。または、この場合、情報検出部１３は、機械学習の結果に基づく画像認識処理を実行することにより、表示画像が示す情報を高精度に検出するものであっても良い。
　また、表示制御装置１００及び表示装置２００の各々は、ＥＣＵ２と異なる他のデバイスから画像生成用情報を受信するものであっても良い。具体的には、例えば、表示制御装置１００及び表示装置２００の各々は、車両１に持ち込まれたスマートフォンなどの携帯情報端末から画像生成用情報を受信するものであって良い。または、例えば、表示制御装置１００及び表示装置２００の各々は、車両１に搭載されたＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信機などの車載器から画像生成用情報を受信するものであっても良い。
　また、表示制御装置１００及び表示装置２００の用途は自動車用計器盤に対応する表示システムに限定されるものではない。具体的には、例えば、表示装置２００が車両１のダッシュボードに取り付けられており、表示制御装置１００がカーナビゲーション用の各種画像を生成するもの、又はディスプレイオーディオ用の各種画像を生成するものであっても良い。または、例えば、表示装置２００が車両１の後部座席に設けられており、表示制御装置１００がＲＳＥ（Ｒｅａｒ　Ｓｅａｔ　Ｅｎｔｅｒｔａｉｎｍｅｎｔ）用の各種画像を生成するものであっても良い。
　また、表示制御装置１００及び表示装置２００は車載用に限定されるものではない。異常検出装置３００は、携帯用、家庭用又は産業用など、如何なる用途の表示制御装置１００及び表示装置２００における異常検出にも用いることができる。
　また、表示制御装置１００は表示装置２００と一体に構成されたものであっても良い。この場合のブロック図を図１０及び図１１に示す。この場合、図１０に示す如く圧縮部８及び伸張部９は不要であり、図１１に示す如くＩＣ２４及びＩＣ２５は不要である。図１０に示す異常検出部１５は、検出情報の内容と画像生成用情報の内容とが不一致である場合、分配部３、メーター描画部４、警告灯描画部５、合成部６又は拡縮部１０のうちの少なくとも一部に異常が発生していると判定する。図１１に示すＩＣ２８は、検出情報の内容と画像生成用情報の内容とが不一致である場合、マイコン２１、ＳｏＣ２２又はＩＣ２６のうちの少なくとも一部に異常が発生していると判定する。
　また、異常検出装置３００のハードウェアはＩＣ２８に限定されるものではない。図１２を参照して、異常検出装置３００のハードウェア構成の他の例について説明する。
　図１２Ａに示す如く、異常検出装置３００はコンピュータにより構成されており、プロセッサ３１及びメモリ３２を有している。メモリ３２には、当該コンピュータを図１に示す画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５として機能させるためのプログラムが記憶されている。メモリ３２に記憶されたプログラムをプロセッサ３１が読み出して実行することにより、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５の機能が実現される。
　プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などにより構成されている。メモリ３２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクにより構成されている。
　または、図１２Ｂに示す如く、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５の機能が専用の処理回路３３により実現されるものであっても良い。処理回路３３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）若しくはシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）又はこれらを組み合わせたものである。
　なお、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５の各部の機能それぞれを処理回路３３で実現しても良いし、各部の機能をまとめて処理回路３３で実現しても良い。また、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５のうちの一部の機能を図１２Ａに示すプロセッサ３１及びメモリ３２により実現し、残余の機能を図１２Ｂに示す処理回路３３により実現しても良い。
　以上のように、実施の形態１の異常検出装置３００は、表示制御装置１００による画像の生成に用いられる画像生成用情報を取得する情報取得部１４と、表示装置２００における表示画像を取得する画像取得部１２と、表示画像に対する画像認識処理を実行することにより、表示画像が示す情報を検出する情報検出部１３と、画像生成用情報と情報検出部１３にて検出された情報とを比較することにより、表示制御装置１００及び表示装置２００における異常の発生を検出する異常検出部１５とを備える。これにより、表示画像のフリーズを異常として検出することができるのはもちろん、表示制御装置１００に入力される情報（画像生成用情報）と表示画像が示す情報（検出情報）との間にずれが生じていることも異常として検出することができる。すなわち、表示制御装置１００及び表示装置２００を含む表示システムにおいて、フリーズ及び誤動作を含む複数種類の異常を検出することができる。
　また、情報検出部１３は、表示画像が車両情報を示す画像である場合、表示画像が車両情報と異なる他の種類の情報を示す画像である場合に比して簡略化された画像認識処理を実行する。これにより、図２に示すＩＣ２８、図１２Ａに示すプロセッサ３１又は図１２Ｂに示す処理回路３３の演算量を低減することができる。この結果、ＳｏＣ２２に比して画像処理能力の低いＩＣ２８、プロセッサ３１又は処理回路３３を用いて異常検出装置３００を実現することができる。
　また、情報検出部１３は、車両情報を示す表示画像のうちのメーターに対応する領域を２値化して、当該２値化された画像と参照画像とのパターンマッチングによりメーターが示す数値を検出する。これにより、簡略化された画像認識処理（第１の具体例）にて、スピードメーターが示す車速又はタコメーターが示す回転数などの数値を検出することができる。
　または、情報検出部１３は、車両情報を示す表示画像のうちのメーターに対応する領域からメーターの針に対応する部分を抽出して、当該抽出された画像と参照画像とのパターンマッチングによりメーターが示す数値を検出する。これにより、簡略化された画像認識処理（第２の具体例）にて、スピードメーターが示す車速又はタコメーターが示す回転数などの数値を検出することができる。
　または、情報検出部１３は、車両情報を示す表示画像のうちのメーターに対応する領域からメーターの針に対応する部分を抽出して、当該針の角度に基づきメーターが示す数値を検出する。これにより、簡略化された画像認識処理（第３の具体例）にて、スピードメーターが示す車速又はタコメーターが示す回転数などの数値を検出することができる。
　また、情報検出部１３は、車両情報を示す表示画像のうちの警告灯に対応する領域における累積輝度値Ｌを算出して、当該累積輝度値Ｌを閾値Ｌｔｈと比較することにより警告灯が点灯しているか否かを検出する。これにより、簡略化された画像認識処理にて、燃料警告灯などの各種警告灯が点灯しているか否かを検出することができる。
　また、情報取得部１４は、電子制御ユニット（ＥＣＵ）２、携帯情報端末又は車載器から画像生成用情報を取得する。これにより、異常検出装置３００を車載用の表示制御装置１００及び表示装置２００に適用したとき、表示制御装置１００及び表示装置２００の用途などに応じて種々の画像生成用情報を取得することができる。
　また、実施の形態１の異常検出方法は、情報取得部１４が、表示制御装置１００による画像の生成に用いられる画像生成用情報を取得するステップ（ステップＳＴ３）と、画像取得部１２が、表示装置２００における表示画像を取得するステップ（ステップＳＴ１）と、情報検出部１３が、表示画像に対する画像認識処理を実行することにより、表示画像が示す情報を検出するステップ（ステップＳＴ２）と、異常検出部１５が、画像生成用情報と情報検出部１３にて検出された情報とを比較することにより、表示制御装置１００及び表示装置２００における異常の発生を検出するステップ（ステップＳＴ４）とを備える。これにより、表示制御装置１００及び表示装置２００を含む表示システムにおいて、フリーズ及び誤動作を含む複数種類の異常を検出することができる。
実施の形態２．
　図１３は、実施の形態２に係る表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。図１３を参照して、実施の形態２の表示制御装置１００ａ、表示装置２００ａ及び異常検出装置３００ａについて、自動車用計器盤に対応する表示システムに適用した例を中心に説明する。
　なお、図１３において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、表示制御装置１００ａ、表示装置２００ａ及び異常検出装置３００ａのハードウェア構成は、実施の形態１にて図２を参照して説明したものと同様であるため、図示及び説明を省略する。
　図１３に示す如く、異常検出装置３００ａは通知制御部１６を有している。通知制御部１６は、異常検出部１５により異常の発生が検出されたとき、当該異常が発生したことを示す画像（以下「異常通知画像」という。）を表示装置２００ａと異なる他の表示装置４００に表示させる制御、又は当該異常が発生したことを示す音声（以下「異常通知音声」という。）を音声出力装置５００に出力させる制御のうちの少なくとも一方を実行するものである。
　表示装置４００は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイなどのディスプレイにより構成されている。表示装置４００は、例えば、車両１のダッシュボードに取り付けられており、カーナビゲーション用の各種画像又はディスプレイオーディオ用の各種画像を表示するものである。または、例えば、表示装置４００は、車両１に持ち込まれたスマートフォン又はＰＮＤ（Ｐｏｒｔａｂｌｅ　Ｎａｖｉｇａｔｉｏｎ　Ｄｅｖｉｃｅ）などの携帯情報端末のディスプレイにより構成されている。
　音声出力装置５００は、例えば、車両１に搭載された１個以上のスピーカにより構成されている。
　また、異常検出装置３００ａは復帰制御部１７を有している。復帰制御部１７は、異常検出部１５により異常の発生が検出されたとき、表示制御装置１００ａにリセット処理の実行を指示するものである。表示制御装置１００ａは、異常検出装置３００ａからの指示に応じて自身をリセットする機能を有している。
　次に、図１４のフローチャートを参照して、異常検出装置３００ａの動作について説明する。なお、図１４に示すステップＳＴ１～ＳＴ７のうちのステップＳＴ１～ＳＴ４の処理内容は、実施の形態１にて図３を参照して説明したものと同様であるため説明を省略する。
　ステップＳＴ４で異常が検出されなかった場合（ステップＳＴ５“ＮＯ”）、異常検出装置３００ａの処理はステップＳＴ１に戻る。他方、ステップＳＴ４で異常が検出された場合（ステップＳＴ５“ＹＥＳ”）、情報検出部１３は、その旨を通知制御部１６及び復帰制御部１７にそれぞれ通知する。これにより、異常検出装置３００ａの処理はステップＳＴ６，ＳＴ７に進む。
　ステップＳＴ６にて、通知制御部１６は、異常通知画像を表示装置４００に表示させる制御、又は異常通知音声を音声出力装置５００に出力させる制御のうちの少なくとも一方を実行する。これにより、表示制御装置１００ａ又は表示装置２００ａに異常が発生したことをユーザに知らせることができる。
　ステップＳＴ７にて、復帰制御部１７は、表示制御装置１００ａにリセット処理の実行を指示する。表示制御装置１００ａにて一時的な異常（例えばソフトウェア的な異常）が発生している場合、リセットにより表示制御装置１００ａを正常な状態に復帰させることができる。
　なお、異常検出装置３００ａは、通知制御部１６又は復帰制御部１７のうちのいずれか一方のみを有するものであっても良い。すなわち、異常検出装置３００ａは、ステップＳＴ６の処理又はステップＳＴ７の処理のうちのいずれか一方のみを実行するものであっても良い。
　また、異常検出装置３００ａが通知制御部１６及び復帰制御部１７の両方を有する場合、異常通知画像は、異常が発生したことに加えて、表示制御装置１００ａがリセットされることを示すものであっても良い。同様に、異常通知音声は、異常が発生したことに加えて、表示制御装置１００ａがリセットされることを示すものであっても良い。
　また、通知制御部１６は、表示装置４００に代えて又は加えて、表示装置２００の表示部１１に異常通知画像を表示させるものであっても良い。
　そのほか、実施の形態２の表示制御装置１００ａ、表示装置２００ａ及び異常検出装置３００ａは、実施の形態１にて説明したものと同様の種々の変形例を適用することができる。例えば、異常検出装置３００ａのハードウェア構成は、実施の形態１にて図１２を参照して説明したものと同様であっても良い。
　以上のように、実施の形態２の異常検出装置３００ａは、異常検出部１５により異常の発生が検出されたとき、異常が発生したことを示す画像を表示装置２００ａと異なる他の表示装置４００に表示させる制御、又は異常が発生したことを示す音声を音声出力装置５００に出力させる制御のうちの少なくとも一方を実行する通知制御部１６を備える。これにより、表示制御装置１００ａ又は表示装置２００ａに異常が発生したことをユーザに知らせることができる。
　また、異常検出装置３００ａは、異常検出部１５により異常の発生が検出されたとき、表示制御装置１００ａにリセット処理の実行を指示する復帰制御部１７を備える。表示制御装置１００ａにて一時的な異常（例えばソフトウェア的な異常）が発生している場合、リセットにより表示制御装置１００ａを正常な状態に復帰させることができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本発明の異常検出装置及び異常検出方法は、例えば、自動車用計器盤に対応する表示システムに応用することができる。
　１　車両、２　電子制御ユニット（ＥＣＵ）、３　分配部、４　メーター描画部、５　警告灯描画部、６　合成部、７　画像生成部、８　圧縮部、９　伸張部、１０　拡縮部、１１　表示部、１２　画像取得部、１３　情報検出部、１４　情報取得部、１５　異常検出部、１６　通知制御部、１７　復帰制御部、２１　マイクロコントローラ（マイコン）、２２　システムオンチップ（ＳｏＣ）、２３　メモリ、２４　集積回路（ＩＣ）、２５　集積回路（ＩＣ）、２６　集積回路（ＩＣ）、２７　液晶モジュール、２８　集積回路（ＩＣ）、３１　プロセッサ、３２　メモリ、３３　処理回路、１００，１００ａ　表示制御装置、２００，２００ａ　表示装置、３００，３００ａ　異常検出装置、４００　表示装置、５００　音声出力装置。

Claims (10)

  1. 　表示制御装置による画像の生成に用いられる画像生成用情報を取得する情報取得部と、
    　表示装置における表示画像を取得する画像取得部と、
    　前記表示画像に対する画像認識処理を実行することにより、前記表示画像が示す情報を検出する情報検出部と、
    　前記画像生成用情報と前記情報検出部にて検出された情報とを比較することにより、前記表示制御装置及び前記表示装置における異常の発生を検出する異常検出部と、
    　を備える異常検出装置。
  2. 　前記情報検出部は、前記表示画像が車両情報を示す画像である場合、前記表示画像が前記車両情報と異なる他の種類の情報を示す画像である場合に比して簡略化された前記画像認識処理を実行することを特徴とする請求項１記載の異常検出装置。
  3. 　前記情報検出部は、前記車両情報を示す前記表示画像のうちのメーターに対応する領域を２値化して、当該２値化された画像と参照画像とのパターンマッチングにより前記メーターが示す数値を検出することを特徴とする請求項２記載の異常検出装置。
  4. 　前記情報検出部は、前記車両情報を示す前記表示画像のうちのメーターに対応する領域から前記メーターの針に対応する部分を抽出して、当該抽出された画像と参照画像とのパターンマッチングにより前記メーターが示す数値を検出することを特徴とする請求項２記載の異常検出装置。
  5. 　前記情報検出部は、前記車両情報を示す前記表示画像のうちのメーターに対応する領域から前記メーターの針に対応する部分を抽出して、当該針の角度に基づき前記メーターが示す数値を検出することを特徴とする請求項２記載の異常検出装置。
  6. 　前記情報検出部は、前記車両情報を示す前記表示画像のうちの警告灯に対応する領域における累積輝度値を算出して、当該累積輝度値を閾値と比較することにより前記警告灯が点灯しているか否かを検出することを特徴とする請求項２記載の異常検出装置。
  7. 　前記異常検出部により前記異常の発生が検出されたとき、前記異常が発生したことを示す画像を前記表示装置と異なる他の表示装置に表示させる制御、又は前記異常が発生したことを示す音声を音声出力装置に出力させる制御のうちの少なくとも一方を実行する通知制御部を備えることを特徴とする請求項１記載の異常検出装置。
  8. 　前記異常検出部により前記異常の発生が検出されたとき、前記表示制御装置にリセット処理の実行を指示する復帰制御部を備えることを特徴とする請求項１記載の異常検出装置。
  9. 　前記情報取得部は、電子制御ユニット、携帯情報端末又は車載器から前記画像生成用情報を取得することを特徴とする請求項１記載の異常検出装置。
  10. 　情報取得部が、表示制御装置による画像の生成に用いられる画像生成用情報を取得するステップと、
    　画像取得部が、表示装置における表示画像を取得するステップと、
    　情報検出部が、前記表示画像に対する画像認識処理を実行することにより、前記表示画像が示す情報を検出するステップと、
    　異常検出部が、前記画像生成用情報と前記情報検出部にて検出された情報とを比較することにより、前記表示制御装置及び前記表示装置における異常の発生を検出するステップと、
    　を備える異常検出方法。
PCT/JP2017/021306 2017-06-08 2017-06-08 異常検出装置及び異常検出方法 WO2018225210A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/021306 WO2018225210A1 (ja) 2017-06-08 2017-06-08 異常検出装置及び異常検出方法
JP2019523289A JP6664548B2 (ja) 2017-06-08 2017-06-08 異常検出装置及び異常検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/021306 WO2018225210A1 (ja) 2017-06-08 2017-06-08 異常検出装置及び異常検出方法

Publications (1)

Publication Number Publication Date
WO2018225210A1 true WO2018225210A1 (ja) 2018-12-13

Family

ID=64565874

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021306 WO2018225210A1 (ja) 2017-06-08 2017-06-08 異常検出装置及び異常検出方法

Country Status (2)

Country Link
JP (1) JP6664548B2 (ja)
WO (1) WO2018225210A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067689A1 (ja) * 2021-10-19 2023-04-27 日産自動車株式会社 異常検出装置及び異常検出方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245718A (ja) * 2005-03-01 2006-09-14 Yomiuri Telecasting Corp データ放送監視システム
JP2008234160A (ja) * 2007-03-19 2008-10-02 Meiyu Techno Co Ltd 検針メータ読取装置、ハンディーターミナル、および検針システム
JP2011188134A (ja) * 2010-03-05 2011-09-22 Panasonic Corp 監視システム、その制御方法及び監視装置
JP2012035677A (ja) * 2010-08-04 2012-02-23 Renesas Electronics Corp 表示制御装置
JP2017017635A (ja) * 2015-07-06 2017-01-19 株式会社トランストロン 故障診断装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006245718A (ja) * 2005-03-01 2006-09-14 Yomiuri Telecasting Corp データ放送監視システム
JP2008234160A (ja) * 2007-03-19 2008-10-02 Meiyu Techno Co Ltd 検針メータ読取装置、ハンディーターミナル、および検針システム
JP2011188134A (ja) * 2010-03-05 2011-09-22 Panasonic Corp 監視システム、その制御方法及び監視装置
JP2012035677A (ja) * 2010-08-04 2012-02-23 Renesas Electronics Corp 表示制御装置
JP2017017635A (ja) * 2015-07-06 2017-01-19 株式会社トランストロン 故障診断装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067689A1 (ja) * 2021-10-19 2023-04-27 日産自動車株式会社 異常検出装置及び異常検出方法

Also Published As

Publication number Publication date
JP6664548B2 (ja) 2020-03-13
JPWO2018225210A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
CN111492398B (zh) 用于安全性关键应用的多样化冗余方法
US10176594B2 (en) Progressive in-vehicle camera calibrator, image generator, in-vehicle camera calibration method, and image generation method
JP5689872B2 (ja) 車両の周辺監視装置
US20150254041A1 (en) Display control system
JP6095781B2 (ja) 情報提示装置及び情報提示方法
JP2008001120A (ja) 車両用表示制御装置
US10609337B2 (en) Image processing apparatus
JP2010116086A (ja) 車載用表示装置、表示方法および表示プログラム
JP2008109310A (ja) 車両用表示装置
KR20130037272A (ko) 도로 평탄도 측정 장치 및 방법
JP7067051B2 (ja) 車両用表示装置
US20170050569A1 (en) In-vehicle display apparatus, control method for controlling same, and non-transitory computer readable medium recording program
US20200242927A1 (en) System, system control method, and information providing server
JP7170284B2 (ja) 車載装置
WO2018225210A1 (ja) 異常検出装置及び異常検出方法
JPWO2018042976A1 (ja) 画像生成装置、画像生成方法、記録媒体、および画像表示システム
JP2022010322A (ja) 制御装置、制御方法及びプログラム
US20220408062A1 (en) Display control apparatus, display control method, and program
US10144350B2 (en) Lighting failure determination apparatus and lighting failure determination method
JP2012073395A (ja) 映像表示装置
JP2017182543A (ja) 運転支援方法及び運転支援装置
CN115148169A (zh) 影像处理装置以及显示装置
WO2015190057A1 (ja) 車両用表示装置
JP6766433B2 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
US9858812B2 (en) Traffic signal state detection apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17912796

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019523289

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17912796

Country of ref document: EP

Kind code of ref document: A1