JP6664548B2 - Abnormality detection device and abnormality detection method - Google Patents

Abnormality detection device and abnormality detection method Download PDF

Info

Publication number
JP6664548B2
JP6664548B2 JP2019523289A JP2019523289A JP6664548B2 JP 6664548 B2 JP6664548 B2 JP 6664548B2 JP 2019523289 A JP2019523289 A JP 2019523289A JP 2019523289 A JP2019523289 A JP 2019523289A JP 6664548 B2 JP6664548 B2 JP 6664548B2
Authority
JP
Japan
Prior art keywords
information
image
display
unit
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019523289A
Other languages
Japanese (ja)
Other versions
JPWO2018225210A1 (en
Inventor
将和 福地
将和 福地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018225210A1 publication Critical patent/JPWO2018225210A1/en
Application granted granted Critical
Publication of JP6664548B2 publication Critical patent/JP6664548B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers

Description

本発明は、表示システム用の異常検出装置及び異常検出方法に関する。   The present invention relates to an abnormality detection device and an abnormality detection method for a display system.

従来、車載用の表示システムにおいて、いわゆる「フリーズ」の発生を検出する技術が開発されている。例えば、特許文献１の画像判断装置は、表示システム内の同一の部位において時間的に連続した複数枚の画像を取得して、これらの画像同士を比較することによりフリーズの発生を検出している。   2. Description of the Related Art Conventionally, a technology for detecting the occurrence of a so-called “freeze” in a display system for a vehicle has been developed. For example, the image determination device of Patent Document 1 acquires a plurality of temporally consecutive images at the same site in a display system, and detects the occurrence of a freeze by comparing these images. .

特開２００９−２７８３４０号公報JP 2009-278340 A

表示システムにおける異常はフリーズに限定されるものではなく、いわゆる「誤動作」が発生することもある。例えば、表示システムに含まれる画像処理用の回路の故障により、表示システムに入力される信号が示す情報と表示システムにて表示される画像が示す情報との間にずれが生ずることがある。特許文献１の画像判断装置は、表示システム内の同一部位における画像同士を比較するものに過ぎず、このような誤動作の発生を検出することができない問題があった。すなわち、検出可能な異常の種類が少ないという問題があった。   Abnormalities in the display system are not limited to freezes, and so-called "malfunctions" may occur. For example, a failure in an image processing circuit included in the display system may cause a difference between information indicated by a signal input to the display system and information indicated by an image displayed by the display system. The image determination device of Patent Literature 1 merely compares the images at the same site in the display system, and has a problem that it is not possible to detect the occurrence of such a malfunction. That is, there is a problem that the types of detectable abnormalities are small.

本発明は、上記のような課題を解決するためになされたものであり、表示システムにおける複数種類の異常を検出可能な異常検出装置及び異常検出方法を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is to provide an abnormality detection device and an abnormality detection method capable of detecting a plurality of types of abnormalities in a display system.

本発明の異常検出装置は、表示制御装置により画像を生成するために用いられる情報であって、当該画像に表示される値又は状態に関する情報を含む画像生成用情報を取得する情報取得部と、表示装置における表示画像を取得する画像取得部と、表示画像のうち、画像生成用情報に基づいて描画された領域に対して、当該領域が示す値又は状態に関する情報を検出するための画像認識処理を実行することにより、表示画像が示す情報を検出する情報検出部と、画像生成用情報と情報検出部にて検出された情報とを比較することにより、表示制御装置及び表示装置における異常の発生を検出する異常検出部とを備えるものである。 Abnormality detecting device of the present invention is information used to generate the by Ri image to the display control unit, information acquisition unit that acquires image generation information including the information about the value or state is displayed on the image An image acquisition unit for acquiring a display image on the display device; and an image for detecting information relating to a value or a state indicated by the region in a region of the display image drawn based on the image generation information. By performing the recognition process, the information detection unit that detects the information indicated by the display image is compared with the information for image generation and the information detected by the information detection unit. And an abnormality detection unit that detects the occurrence of the error.

本発明によれば、上記のように構成したので、表示システムにおける複数種類の異常を検出することができる。   According to the present invention, since it is configured as described above, a plurality of types of abnormalities in the display system can be detected.

実施の形態１に係る表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。FIG. 2 is a block diagram illustrating main parts of a display control device, a display device, and an abnormality detection device according to the first embodiment. 実施の形態１に係る表示制御装置、表示装置及び異常検出装置のハードウェア構成を示すブロック図である。FIG. 2 is a block diagram illustrating a hardware configuration of a display control device, a display device, and an abnormality detection device according to Embodiment 1. 実施の形態１に係る異常検出装置の動作を示すフローチャートである。5 is a flowchart illustrating the operation of the abnormality detection device according to the first embodiment. スピードメーターが示す車速を検出する画像認識処理の第１の具体例における、参照画像の一例を示す説明図である。FIG. 9 is an explanatory diagram illustrating an example of a reference image in a first specific example of an image recognition process for detecting a vehicle speed indicated by a speedometer. スピードメーターが示す車速を検出する画像認識処理の第１の具体例における、情報検出部により２値化された画像の一例を示す説明図である。FIG. 9 is an explanatory diagram illustrating an example of an image binarized by an information detection unit in a first specific example of an image recognition process of detecting a vehicle speed indicated by a speedometer. スピードメーターが示す車速を検出する画像認識処理の第２の具体例における、参照画像の一例を示す説明図である。FIG. 9 is an explanatory diagram illustrating an example of a reference image in a second specific example of the image recognition processing for detecting a vehicle speed indicated by a speedometer. スピードメーターが示す車速を検出する画像認識処理の第２の具体例における、情報検出部により抽出された画像の一例を示す説明図である。FIG. 11 is an explanatory diagram illustrating an example of an image extracted by an information detection unit in a second specific example of the image recognition processing for detecting a vehicle speed indicated by a speedometer. 図８Ａは、燃料警告灯が点灯した状態に対応する画像の一例を示す説明図である。図８Ｂは、燃料警告灯が消灯した状態に対応する画像の一例を示す説明図である。FIG. 8A is an explanatory diagram illustrating an example of an image corresponding to a state where the fuel warning light is turned on. FIG. 8B is an explanatory diagram illustrating an example of an image corresponding to a state where the fuel warning lamp is turned off. 燃料警告灯が点灯した状態に対応する画像の累積輝度値と、燃料警告灯が消灯した状態に対応する画像の累積輝度値と、累積輝度値に対する比較対象となる閾値との一例を示す説明図である。Explanatory drawing showing an example of a cumulative luminance value of an image corresponding to a state where a fuel warning light is turned on, a cumulative luminance value of an image corresponding to a state where a fuel warning light is turned off, and a threshold value to be compared with the cumulative luminance value. It is. 実施の形態１に係る他の表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。FIG. 4 is a block diagram illustrating a main part of another display control device, a display device, and an abnormality detection device according to Embodiment 1. 実施の形態１に係る他の表示制御装置、表示装置及び異常検出装置のハードウェア構成を示すブロック図である。FIG. 3 is a block diagram illustrating a hardware configuration of another display control device, a display device, and an abnormality detection device according to Embodiment 1. 図１２Ａは、実施の形態１に係る異常検出装置の他のハードウェア構成を示すブロック図である。図１２Ｂは、実施の形態１に係る異常検出装置の他のハードウェア構成を示すブロック図である。FIG. 12A is a block diagram illustrating another hardware configuration of the abnormality detection device according to Embodiment 1. FIG. 12B is a block diagram illustrating another hardware configuration of the abnormality detection device according to Embodiment 1. 実施の形態２に係る表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。FIG. 9 is a block diagram illustrating main parts of a display control device, a display device, and an abnormality detection device according to Embodiment 2. 実施の形態２に係る異常検出装置の動作を示すフローチャートである。9 is a flowchart showing the operation of the abnormality detection device according to the second embodiment.

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。   Hereinafter, in order to explain this invention in greater detail, the preferred embodiments of the present invention will be described with reference to the accompanying drawings.

実施の形態１．
図１は、実施の形態１に係る表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。図１を参照して、実施の形態１の表示制御装置１００、表示装置２００及び異常検出装置３００について、自動車用計器盤に対応する表示システム（いわゆる「デジタルインストルメントパネル」又は「統合インストルメントパネル」）に適用した例を中心に説明する。Embodiment 1 FIG.
FIG. 1 is a block diagram illustrating main parts of a display control device, a display device, and an abnormality detection device according to Embodiment 1. Referring to FIG. 1, a display system (a so-called “digital instrument panel” or “integrated instrument panel”) corresponding to an instrument panel for a vehicle is used for a display control device 100, a display device 200, and an abnormality detection device 300 according to the first embodiment. )).

図１に示す如く、車両１は電子制御ユニット（以下「ＥＣＵ」という。）２を有している。ＥＣＵ２は、車両１に設けられた図示しないセンサ類を用いて、車両１の状態に関する各種情報（以下「車両情報」という。）を取得するものである。   As shown in FIG. 1, the vehicle 1 has an electronic control unit (hereinafter, referred to as “ECU”) 2. The ECU 2 acquires various kinds of information (hereinafter, referred to as “vehicle information”) on the state of the vehicle 1 using sensors (not shown) provided in the vehicle 1.

ＥＣＵ２と表示制御装置１００間は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）規格に基づく車載ネットワークにより通信自在である。ＥＣＵ２と表示装置２００間も、この車載ネットワークにより通信自在である。ＥＣＵ２は、車両情報のうち、表示制御装置１００による画像の生成に用いられる情報（以下「画像生成用情報」という。）を表示制御装置１００及び表示装置２００にそれぞれ送信するものである。   Communication between the ECU 2 and the display control device 100 is possible by an in-vehicle network based on the CAN (Controller Area Network) standard. Communication between the ECU 2 and the display device 200 is also free through this in-vehicle network. The ECU 2 transmits, to the display control device 100 and the display device 200, information used for generating an image by the display control device 100 (hereinafter, referred to as "image generation information") among the vehicle information.

画像生成用情報は、例えば、車速を示す情報、エンジンの回転数を示す情報、及び燃料の残量が基準量（例えば１０リットル）未満であるか否かを示す情報（すなわち燃料警告灯の点灯の要否を示す情報）などを含むものである。これらの情報のうち、車速を示す情報は、自動車用計器盤における速度計（以下「スピードメーター」という。）に対応する画像の生成に用いられる。エンジンの回転数を示す情報は、自動車用計器盤における回転速度計（以下「タコメーター」という。）に対応する画像の生成に用いられる。その他の情報は、自動車用計器盤における各種警告灯に対応する画像の生成に用いられる。   The image generation information includes, for example, information indicating a vehicle speed, information indicating an engine speed, and information indicating whether or not a remaining amount of fuel is less than a reference amount (for example, 10 liters) (that is, lighting of a fuel warning lamp). (Information indicating the necessity of this). Among these pieces of information, information indicating the vehicle speed is used to generate an image corresponding to a speedometer (hereinafter, referred to as a “speedometer”) on an instrument panel for a vehicle. Information indicating the number of revolutions of the engine is used to generate an image corresponding to a tachometer (hereinafter, referred to as a “tachometer”) on an instrument panel for an automobile. The other information is used to generate images corresponding to various warning lights on the dashboard of the vehicle.

表示制御装置１００は、分配部３、メーター描画部４、警告灯描画部５及び合成部６を有している。メーター描画部４、警告灯描画部５及び合成部６により画像生成部７が構成されている。また、表示制御装置１００は圧縮部８を有している。   The display control device 100 includes a distribution unit 3, a meter drawing unit 4, a warning light drawing unit 5, and a combining unit 6. An image generation unit 7 is configured by the meter drawing unit 4, the warning light drawing unit 5, and the combining unit 6. Further, the display control device 100 has a compression unit 8.

分配部３は、ＥＣＵ２により送信された画像生成用情報を受信するものである。分配部３は、画像生成用情報のうち、車速を示す情報及びエンジンの回転数を示す情報をメーター描画部４に出力するとともに、その他の情報を警告灯描画部５に出力するものである。   The distribution unit 3 receives the image generation information transmitted by the ECU 2. The distribution unit 3 outputs, to the meter drawing unit 4, information indicating the vehicle speed and information indicating the number of revolutions of the engine, of the image generation information, and outputs other information to the warning light drawing unit 5.

メーター描画部４は、分配部３から入力された情報を用いて、スピードメーターに対応する画像及びタコメーターに対応する画像を生成するものである。すなわち、スピードメーターに対応する画像は車速を示すものであり、タコメーターに対応する画像はエンジンの回転数を示すものである。   The meter drawing unit 4 generates an image corresponding to the speedometer and an image corresponding to the tachometer using the information input from the distribution unit 3. That is, the image corresponding to the speedometer indicates the vehicle speed, and the image corresponding to the tachometer indicates the rotation speed of the engine.

警告灯描画部５は、分配部３から入力された情報を用いて、各種警告灯に対応する画像を生成するものである。例えば、燃料の残量が基準量未満である場合、すなわち燃料警告灯の点灯が必要である場合、警告灯描画部５は燃料警告灯が点灯した状態に対応する画像を生成する。他方、燃料の残量が基準量以上である場合、すなわち燃料警告灯の点灯が不要である場合、警告灯描画部５は燃料警告灯が消灯した状態に対応する画像を生成する。   The warning light drawing unit 5 generates images corresponding to various warning lights using information input from the distribution unit 3. For example, when the remaining amount of fuel is less than the reference amount, that is, when it is necessary to turn on the fuel warning light, the warning light drawing unit 5 generates an image corresponding to a state where the fuel warning light is turned on. On the other hand, when the remaining fuel amount is equal to or more than the reference amount, that is, when it is not necessary to turn on the fuel warning light, the warning light drawing unit 5 generates an image corresponding to a state where the fuel warning light is turned off.

合成部６は、メーター描画部４により生成された画像と警告灯描画部５により生成された画像とを合成することにより、自動車用計器盤に対応する画像を生成するものである。   The combining unit 6 combines the image generated by the meter drawing unit 4 and the image generated by the warning lamp drawing unit 5 to generate an image corresponding to the dashboard of the vehicle.

圧縮部８は、合成部６により生成された画像を示す画像データを取得して、当該画像データを圧縮するものである。圧縮部８は、圧縮後の画像データを表示装置２００に送信するものである。   The compression section 8 acquires image data indicating the image generated by the synthesis section 6 and compresses the image data. The compression unit 8 transmits the compressed image data to the display device 200.

表示装置２００は、伸張部９、拡縮部１０、表示部１１、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５を有している。画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５により異常検出装置３００が構成されている。   The display device 200 includes an expansion unit 9, an enlargement / reduction unit 10, a display unit 11, an image acquisition unit 12, an information detection unit 13, an information acquisition unit 14, and an abnormality detection unit 15. An abnormality detection device 300 is configured by the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15.

伸張部９は、表示制御装置１００により送信された画像データを受信して、当該画像データを伸張するものである。伸張部９は、伸張後の画像データを拡縮部１０に出力するものである。   The expansion unit 9 receives the image data transmitted by the display control device 100 and expands the image data. The expansion unit 9 outputs the expanded image data to the enlargement / reduction unit 10.

拡縮部１０は、伸張部９から入力された画像データが示す画像、すなわち自動車用計器盤に対応する画像を拡大又は縮小（以下、総称して「拡縮」という。）することにより、当該画像のサイズを表示部１１における表示に適したサイズに調整するものである。拡縮部１０は、拡縮後の画像を示す画像データを表示部１１及び画像取得部１２にそれぞれ出力するものである。   The enlargement / reduction unit 10 enlarges or reduces (hereinafter, collectively referred to as “enlargement / reduction”) the image indicated by the image data input from the expansion unit 9, that is, the image corresponding to the instrument panel for a vehicle. The size is adjusted to a size suitable for display on the display unit 11. The scaling unit 10 outputs image data indicating an image after scaling to the display unit 11 and the image acquisition unit 12, respectively.

表示部１１は、拡縮部１０から入力された画像データが示す画像を表示するものである。以下、表示部１１に表示される画像、すなわち表示部１１に入力される画像データが示す画像を「表示画像」という。   The display unit 11 displays an image indicated by the image data input from the scaling unit 10. Hereinafter, an image displayed on the display unit 11, that is, an image indicated by image data input to the display unit 11, is referred to as a "display image".

画像取得部１２は、拡縮部１０により出力された画像データの入力を受け付けるものである。すなわち、画像取得部１２は表示画像を取得するものである。   The image acquisition unit 12 receives an input of the image data output by the scaling unit 10. That is, the image acquisition unit 12 acquires a display image.

情報検出部１３は、画像取得部１２により取得された表示画像の各領域に対する画像認識処理を実行するものである。これにより、情報検出部１３は当該各領域が示す情報を検出するものである。   The information detection unit 13 performs an image recognition process on each area of the display image acquired by the image acquisition unit 12. Thus, the information detection unit 13 detects information indicated by each of the areas.

具体的には、例えば、情報検出部１３は、表示画像のうちのスピードメーターに対応する領域に対する画像認識処理により、車速を示す情報を検出する。また、情報検出部１３は、表示画像のうちのタコメーターに対応する領域に対する画像認識処理により、エンジンの回転数を示す情報を検出する。また、情報検出部１３は、表示画像のうちの燃料警告灯に対応する領域に対する画像認識処理により、燃料警告灯が点灯しているか否かを示す情報、すなわち燃料の残量が基準量未満であるか否かを示す情報を取得する。情報検出部１３による画像認識処理の具体例については、図４〜図９を参照して後述する。   Specifically, for example, the information detection unit 13 detects information indicating the vehicle speed by performing an image recognition process on an area of the display image corresponding to the speedometer. In addition, the information detection unit 13 detects information indicating the number of revolutions of the engine by performing image recognition processing on a region corresponding to the tachometer in the display image. In addition, the information detection unit 13 performs the image recognition process on the area corresponding to the fuel warning light in the display image, and indicates whether or not the fuel warning light is on, that is, when the remaining fuel amount is less than the reference amount. Acquires information indicating whether or not there is. A specific example of the image recognition process performed by the information detection unit 13 will be described later with reference to FIGS.

情報取得部１４は、ＥＣＵ２により送信された画像生成用情報を受信するものである。すなわち、情報取得部１４は画像生成用情報を取得するものである。   The information acquisition unit 14 receives the image generation information transmitted by the ECU 2. That is, the information acquisition unit 14 acquires image generation information.

異常検出部１５は、情報検出部１３により検出された情報（以下「検出情報」という。）と情報取得部１４により取得された画像生成用情報とを比較することにより、表示制御装置１００及び表示装置２００における異常の発生を検出するものである。   The abnormality detection unit 15 compares the information detected by the information detection unit 13 (hereinafter, referred to as “detection information”) with the information for image generation acquired by the information acquisition unit 14 to display the display control device 100 and the display. This is to detect the occurrence of an abnormality in the device 200.

すなわち、検出情報の内容と画像生成用情報の内容とが一致している場合、異常検出部１５は、表示制御装置１００及び表示装置２００がいずれも正常であると判定する。他方、検出情報の内容と画像生成用情報の内容とが不一致である場合、異常検出部１５は、分配部３、メーター描画部４、警告灯描画部５、合成部６、圧縮部８、伸張部９又は拡縮部１０のうちの少なくとも一部に異常が発生していると判定する。   That is, when the content of the detection information matches the content of the image generation information, the abnormality detection unit 15 determines that both the display control device 100 and the display device 200 are normal. On the other hand, when the content of the detection information and the content of the image generation information do not match, the abnormality detection unit 15 includes the distribution unit 3, the meter drawing unit 4, the warning light drawing unit 5, the synthesis unit 6, the compression unit 8, and the decompression. It is determined that an abnormality has occurred in at least a part of the unit 9 or the scaling unit 10.

これにより、表示画像のフリーズを異常として検出することができるのはもちろん、表示制御装置１００に入力される情報（画像生成用情報）と表示画像が示す情報（検出情報）との間にずれが生じていることも異常として検出することができる。すなわち、表示制御装置１００及び表示装置２００を含む表示システムにおいて、フリーズ及び誤動作を含む複数種類の異常を検出することができる。   Thereby, not only can a freeze of the display image be detected as abnormal, but also a difference between information (image generation information) input to the display control device 100 and information (detection information) indicated by the display image can be obtained. What has occurred can also be detected as abnormal. That is, in a display system including the display control device 100 and the display device 200, a plurality of types of abnormalities including a freeze and a malfunction can be detected.

次に、図２を参照して、表示制御装置１００、表示装置２００及び異常検出装置３００のハードウェア構成の一例について説明する。   Next, an example of a hardware configuration of the display control device 100, the display device 200, and the abnormality detection device 300 will be described with reference to FIG.

図１に示す分配部３の機能は、マイクロコントローラ（以下「マイコン」という。）２１により実現される。図１に示す画像生成部７の機能は、システムオンチップ（以下「ＳｏＣ」という。）２２及びメモリ２３により実現される。すなわち、メモリ２３は画像生成部７におけるフレームメモリの機能を果たすものである。図１に示す圧縮部８の機能は、集積回路（以下「ＩＣ」という。）２４により実現される。   The function of the distribution unit 3 shown in FIG. 1 is realized by a microcontroller (hereinafter, referred to as “microcomputer”) 21. The function of the image generation unit 7 illustrated in FIG. 1 is realized by a system-on-chip (hereinafter, referred to as “SoC”) 22 and a memory 23. That is, the memory 23 functions as a frame memory in the image generation unit 7. The function of the compression unit 8 shown in FIG. 1 is realized by an integrated circuit (hereinafter, referred to as “IC”) 24.

また、図１に示す伸張部９の機能は、ＩＣ２５により実現される。図１に示す拡縮部１０の機能は、ＩＣ２６により実現される。図１に示す表示部１１の機能は、液晶モジュール２７により実現される。図１に示す画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５の機能は、ＩＣ２８により実現される。   The function of the extension unit 9 shown in FIG. The function of the scaling unit 10 shown in FIG. The function of the display unit 11 shown in FIG. 1 is realized by the liquid crystal module 27. The functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 illustrated in FIG.

ＩＣ２８は、検出情報の内容と画像生成用情報の内容とが一致している場合、表示制御装置１００及び表示装置２００がいずれも正常であると判定する。他方、検出情報の内容と画像生成用情報の内容とが不一致である場合、ＩＣ２８は、マイコン２１、ＳｏＣ２２、ＩＣ２４、ＩＣ２５又はＩＣ２６のうちの少なくとも一部に異常が発生していると判定する。   When the content of the detection information matches the content of the image generation information, the IC 28 determines that both the display control device 100 and the display device 200 are normal. On the other hand, if the content of the detection information does not match the content of the image generation information, the IC 28 determines that an abnormality has occurred in at least a part of the microcomputer 21, the SoC 22, the IC 24, the IC 25, or the IC 26.

なお、表示部１１の機能は、液晶モジュール２７に代えて有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）モジュールにより実現されるものであっても良い。すなわち、表示装置２００は液晶ディスプレイを用いたものであっても良く、又は有機ＥＬディスプレイを用いたものであっても良い。   Note that the function of the display unit 11 may be realized by an organic EL (Electro Luminescence) module instead of the liquid crystal module 27. That is, the display device 200 may use a liquid crystal display, or may use an organic EL display.

次に、図３のフローチャートを参照して、異常検出装置３００の動作について説明する。   Next, the operation of the abnormality detection device 300 will be described with reference to the flowchart of FIG.

ＥＣＵ２は、センサ類から車両情報を取得し、車両情報のうちの画像生成用情報を表示制御装置１００及び表示装置２００に送信する処理を実行中である。表示制御装置１００は、ＥＣＵ２から受信した画像生成用情報を用いて自動車用計器盤に対応する画像を生成し、当該画像を示す画像データを圧縮し、圧縮後の画像データを表示装置２００に送信する処理を実行中である。表示装置２００は、表示制御装置１００から受信した画像データを伸張し、伸張後の画像データが示す画像を拡縮し、拡縮後の画像を表示する処理を実行中である。これらの処理のバックグラウンドにて、異常検出装置３００が以下のステップＳＴ１〜ＳＴ４の処理を繰り返し実行する。   The ECU 2 is executing a process of acquiring vehicle information from sensors and transmitting image generation information of the vehicle information to the display control device 100 and the display device 200. The display control device 100 generates an image corresponding to the automobile instrument panel using the image generation information received from the ECU 2, compresses image data indicating the image, and transmits the compressed image data to the display device 200. Is being executed. The display device 200 is executing a process of expanding the image data received from the display control device 100, scaling the image indicated by the expanded image data, and displaying the scaled image. In the background of these processes, the abnormality detection device 300 repeatedly executes the following processes of steps ST1 to ST4.

まず、ステップＳＴ１にて、画像取得部１２は、拡縮部１０により出力された画像データの入力を受け付ける。すなわち、画像取得部１２は表示画像を取得する。   First, in step ST1, the image acquiring unit 12 receives an input of the image data output by the scaling unit 10. That is, the image acquisition unit 12 acquires a display image.

次いで、ステップＳＴ２にて、情報検出部１３は、ステップＳＴ１で取得された表示画像の各領域に対する画像認識処理を実行する。これにより、情報検出部１３は当該各領域が示す情報を検出する。ステップＳＴ２における画像認識処理の具体例については、図４〜図９を参照して後述する。   Next, in step ST2, the information detection unit 13 performs an image recognition process on each area of the display image acquired in step ST1. Thereby, the information detection unit 13 detects information indicated by each of the areas. A specific example of the image recognition processing in step ST2 will be described later with reference to FIGS.

次いで、ステップＳＴ３にて、情報取得部１４は、ＥＣＵ２により送信された画像生成用情報を受信する。すなわち、情報取得部１４は画像生成用情報を取得する。   Next, in step ST3, the information acquisition unit 14 receives the image generation information transmitted by the ECU 2. That is, the information acquisition unit 14 acquires image generation information.

次いで、ステップＳＴ４にて、異常検出部１５は、ステップＳＴ２における検出情報とステップＳＴ３で取得された画像生成用情報とを比較することにより、表示制御装置１００及び表示装置２００における異常の発生を検出する。   Next, in step ST4, the abnormality detection unit 15 detects the occurrence of an abnormality in the display control device 100 and the display device 200 by comparing the detection information in step ST2 with the image generation information acquired in step ST3. I do.

すなわち、検出情報の内容と画像生成用情報の内容とが一致している場合、異常検出部１５は、表示制御装置１００及び表示装置２００がいずれも正常であると判定する。他方、検出情報の内容と画像生成用情報の内容とが不一致である場合、異常検出部１５は、分配部３、メーター描画部４、警告灯描画部５、合成部６、圧縮部８、伸張部９又は拡縮部１０のうちの少なくとも一部に異常が発生していると判定する。   That is, when the content of the detection information matches the content of the image generation information, the abnormality detection unit 15 determines that both the display control device 100 and the display device 200 are normal. On the other hand, when the content of the detection information and the content of the image generation information do not match, the abnormality detection unit 15 includes the distribution unit 3, the meter drawing unit 4, the warning light drawing unit 5, the synthesis unit 6, the compression unit 8, and the decompression. It is determined that an abnormality has occurred in at least a part of the unit 9 or the scaling unit 10.

次に、図４〜図９を参照して、情報検出部１３による画像認識処理の具体例について説明する。   Next, a specific example of the image recognition process performed by the information detection unit 13 will be described with reference to FIGS.

自動車用計器盤におけるメーター又は警告灯に対応する画像は、いずれも車両情報を示すものである。通常、車両情報を示す画像は、他の種類の情報を示す画像（例えば映画又はテレビジョン放送などのエンターテインメント系の動画像）に比して、各パーツの配置位置及び描画パターンなどが限定されている。そこで、情報検出部１３は、以下のように簡略化された画像認識処理を実行することにより、ＩＣ２８の演算量を低減する。この結果、ＳｏＣ２２に比して画像処理能力の低いＩＣ２８を用いて異常検出装置３００を実現することができる。   The images corresponding to the meters or the warning lights on the instrument panel for automobiles all indicate vehicle information. Usually, the position of each part and the drawing pattern of the image indicating the vehicle information are limited as compared with the image indicating another type of information (for example, an entertainment-type moving image such as a movie or a television broadcast). I have. Therefore, the information detection unit 13 reduces the amount of calculation of the IC 28 by executing the simplified image recognition processing as described below. As a result, the abnormality detection device 300 can be realized using the IC 28 having a lower image processing capability than the SoC 22.

まず、表示画像のうちのスピードメーターに対応する領域に対する画像認識処理、すなわち当該スピードメーターが示す車速を検出する画像認識処理の具体例について三つ説明する。   First, three specific examples of image recognition processing for a region corresponding to a speedometer in a display image, that is, image recognition processing for detecting a vehicle speed indicated by the speedometer will be described.

第１の具体例において、情報検出部１３には、例えば１０キロメートル毎時（ｋｍ／ｈ）ごとの各速度を示すスピードメーターの画像を白と黒の２階調に変換（いわゆる「２値化」）してなる参照画像が予め記憶されている。情報検出部１３は、表示画像のうちのスピードメーターに対応する領域を２値化する。情報検出部１３は、当該２値化された画像と各参照画像とのパターンマッチングにより、当該２値化された画像に最も近い参照画像を選択する。情報検出部１３は、当該選択された参照画像が示す速度を当該スピードメーターが示す車速として検出する。   In the first specific example, the information detection unit 13 converts an image of a speedometer indicating each speed, for example, every 10 kilometers per hour (km / h) into two gray levels of white and black (so-called “binarization”). ) Is stored in advance. The information detection unit 13 binarizes a region of the display image corresponding to the speedometer. The information detection unit 13 selects a reference image closest to the binarized image by performing pattern matching between the binarized image and each reference image. The information detection unit 13 detects the speed indicated by the selected reference image as the vehicle speed indicated by the speedometer.

図４は参照画像ＲＩ１０〜ＲＩ１１８０の一例を示しており（ＲＩ１２０〜ＲＩ１１７０は図示を省略している）、図５は情報検出部１３により２値化された画像Ｉ１６０の一例を示している。この場合、情報検出部１３は、２値化された画像Ｉ１６０と参照画像ＲＩ１０〜ＲＩ１１８０の各々とのパターンマッチングにより、画像Ｉ１６０に最も近い参照画像ＲＩ１６０を選択する。情報検出部１３は、選択された参照画像ＲＩ１６０が示す速度（６０ｋｍ／ｈ）をスピードメーターが示す車速として検出する。FIG. 4 shows an example of the reference images RI1 0 to RI1 180 (RI1 20 to RI1 170 are not shown), and FIG. 5 shows an example of the image I1 60 binarized by the information detection unit 13. Is shown. In this case, the information detecting section 13, the pattern matching between each of the binarized images I1 60 reference image RI1 0 ~RI1 180, selects a reference image RI1 60 closest to the image I1 60. Information detecting unit 13 detects the speed indicated by the reference image RI1 60 to the selected (60 km / h) as a vehicle speed indicated by the speedometer.

第２の具体例において、情報検出部１３には、例えば１０ｋｍ／ｈごとの各速度を示すスピードメーターの画像から当該スピードメーターの針に対応する部分を抽出してなる参照画像が予め記憶されている。情報検出部１３は、いわゆる「エッジ検出」などの処理により、表示画像のうちのスピードメーターに対応する領域から当該スピードメーターの針に対応する部分を抽出する。情報検出部１３は、当該抽出された画像と各参照画像とのパターンマッチングにより、当該抽出された画像に最も近い参照画像を選択する。情報検出部１３は、当該選択された参照画像が示す速度を当該スピードメーターが示す車速として検出する。   In the second specific example, the information detection unit 13 previously stores a reference image obtained by extracting a portion corresponding to a hand of the speedometer from an image of the speedometer indicating each speed at, for example, every 10 km / h. I have. The information detection unit 13 extracts a portion corresponding to the hand of the speedometer from a region corresponding to the speedometer in the display image by performing processing such as so-called “edge detection”. The information detection unit 13 selects a reference image closest to the extracted image by performing pattern matching between the extracted image and each reference image. The information detection unit 13 detects the speed indicated by the selected reference image as the vehicle speed indicated by the speedometer.

図６は参照画像ＲＩ２０〜ＲＩ２１８０の一例を示しており（ＲＩ２２０〜ＲＩ２１７０は図示を省略している）、図７は情報検出部１３により抽出された画像Ｉ２６０の一例を示している。図中、破線部は便宜上示したものであり、実際の各画像には含まれない部位である。この場合、情報検出部１３は、抽出された画像Ｉ２６０と参照画像ＲＩ２０〜ＲＩ２１８０の各々とのパターンマッチングにより、画像Ｉ２６０に最も近い参照画像ＲＩ２６０を選択する。情報検出部１３は、選択された参照画像ＲＩ２６０が示す速度（６０ｋｍ／ｈ）をスピードメーターが示す車速として検出する。FIG. 6 shows an example of the reference images RI2 0 to RI2 180 (RI2 20 to RI2 170 are not shown), and FIG. 7 shows an example of the image I2 60 extracted by the information detection unit 13. I have. In the drawing, the broken line portions are shown for convenience, and are portions that are not included in actual images. In this case, the information detection unit 13 selects the reference image RI2 60 closest to the image I2 60 by performing pattern matching between the extracted image I2 60 and each of the reference images RI2 0 to RI2 180 . Information detecting unit 13 detects the speed indicated by the reference image RI2 60 to the selected (60 km / h) as a vehicle speed indicated by the speedometer.

第３の具体例において、情報検出部１３には、例えば１０ｋｍ／ｈごとの各速度と、スピードメーターが当該各速度を示すときの当該スピードメーターの針の角度とを対応させたテーブル（以下「角度−速度テーブル」という。）が予め記憶されている。   In the third specific example, the information detecting unit 13 stores, for example, a table (hereinafter, referred to as “the speed” at 10 km / h) and the angle of the hand of the speedometer when the speedometer indicates the speed. Angle-speed table ”) is stored in advance.

情報検出部１３は、エッジ検出などの処理により、表示画像のうちのスピードメーターに対応する領域から当該スピードメーターの針に対応する部分を抽出する。情報検出部１３は、角度−速度テーブルに含まれる速度のうち、当該検出された針の角度に最も近い角度に対応する速度を取得する。情報検出部１３は、当該取得した速度を当該スピードメーターが示す車速として検出する。   The information detection unit 13 extracts a portion of the display image corresponding to the hand of the speedometer from a region corresponding to the speedometer by processing such as edge detection. The information detecting unit 13 acquires a speed corresponding to an angle closest to the detected needle angle among the speeds included in the angle-speed table. The information detection unit 13 detects the obtained speed as the vehicle speed indicated by the speedometer.

なお、情報検出部１３が上記第１〜第３の具体例による画像認識処理を実行する場合、異常検出部１５における車速を示す情報の一致不一致判定は、完全に一致しているか否かを判定するものではなく略一致しているか否かを判定するものとするのが好適である。具体的には、例えば、異常検出部１５は、画像生成用情報が示す車速と検出情報が示す車速との差分値が６ｋｍ／ｈ未満である場合、両情報の示す車速が一致していると判定する。他方、画像生成用情報が示す車速と検出情報が示す車速との差分値が６ｋｍ／ｈ以上である場合、異常検出部１５は、両情報の示す車速が不一致であると判定する。   When the information detection unit 13 performs the image recognition processing according to the first to third specific examples, the determination of a match or mismatch of the information indicating the vehicle speed in the abnormality detection unit 15 determines whether or not the information completely matches. It is preferable to judge whether or not they substantially match, instead of performing the operations. Specifically, for example, when the difference value between the vehicle speed indicated by the image generation information and the vehicle speed indicated by the detection information is less than 6 km / h, the abnormality detection unit 15 determines that the vehicle speeds indicated by both information match. judge. On the other hand, when the difference value between the vehicle speed indicated by the image generation information and the vehicle speed indicated by the detection information is 6 km / h or more, the abnormality detection unit 15 determines that the vehicle speeds indicated by both information do not match.

また、表示画像のうちのタコメーターに対応する領域に対する画像認識処理、すなわち当該タコメーターが示すエンジンの回転数を検出する画像認識処理の具体例は、上記第１〜第３の具体例と同様であるため図示及び説明を省略する。   Further, specific examples of the image recognition processing for the region corresponding to the tachometer in the display image, that is, the image recognition processing for detecting the number of revolutions of the engine indicated by the tachometer are the same as the first to third specific examples. Therefore, illustration and description are omitted.

次に、表示画像のうちの燃料警告灯に対応する領域に対する画像認識処理、すなわち当該燃料警告灯が点灯しているか否かを検出する画像認識処理の具体例について説明する。   Next, a specific example of the image recognition processing for an area corresponding to the fuel warning light in the display image, that is, the image recognition processing for detecting whether the fuel warning light is on or not will be described.

情報検出部１３は、表示画像のうちの燃料警告灯に対応する領域における各画素の輝度値を加算することにより、累積輝度値Ｌを算出する。情報検出部１３には、累積輝度値Ｌに対する比較対象となる閾値Ｌｔｈが予め設定されている。情報検出部１３は、累積輝度値Ｌと閾値Ｌｔｈとを比較する。   The information detecting unit 13 calculates the cumulative luminance value L by adding the luminance values of the respective pixels in the area corresponding to the fuel warning light in the display image. In the information detection unit 13, a threshold value Lth to be compared with the accumulated luminance value L is set in advance. The information detection unit 13 compares the accumulated luminance value L with a threshold Lth.

情報検出部１３は、累積輝度値Ｌが閾値Ｌｔｈ以上の値である場合、燃料警告灯が点灯状態であると判定する（すなわち、表示画像によれば燃料の残量が基準量未満であることを検出する。）。他方、累積輝度値Ｌが閾値Ｌｔｈ未満の値である場合、情報検出部１３は、燃料警告灯が消灯状態であると判定する（すなわち、表示画像によれば燃料の残量が基準量以上であることを検出する。）。   When the accumulated luminance value L is equal to or greater than the threshold value Lth, the information detection unit 13 determines that the fuel warning lamp is in the lighting state (that is, according to the display image, the remaining fuel amount is less than the reference amount). Is detected.). On the other hand, when the cumulative luminance value L is less than the threshold value Lth, the information detection unit 13 determines that the fuel warning light is off (that is, according to the display image, the remaining fuel amount is equal to or greater than the reference amount). Is detected.)

ここで、燃料警告灯が点灯した状態に対応する画像は予め設定された画像であるため（図８Ａ参照）、当該画像の累積輝度値Ｌは一定値となる（図９に示すＬ１）。他方、燃料警告灯が消灯した状態に対応する画像は黒一色であるため（図８Ｂ参照）、当該画像の累積輝度値も一定値となる（図９に示すＬ２）。そこで、情報検出部１３には、Ｌ１よりも小さくかつＬ２よりも大きい閾値Ｌｔｈを予め設定しておく。   Here, since the image corresponding to the state in which the fuel warning light is on is a preset image (see FIG. 8A), the accumulated luminance value L of the image is a constant value (L1 shown in FIG. 9). On the other hand, since the image corresponding to the state in which the fuel warning light is turned off is black (see FIG. 8B), the accumulated luminance value of the image also becomes a constant value (L2 shown in FIG. 9). Therefore, a threshold value Lth smaller than L1 and larger than L2 is set in the information detecting unit 13 in advance.

なお、表示領域のうちの燃料警告灯と異なる他の警告灯に対応する領域に対する画像認識処理、すなわち当該他の警告灯が点灯しているか否かを検出する画像認識処理の具体例は、上記具体例と同様であるため図示及び説明を省略する。ただし、警告灯の種類ごとに点灯状態に対応する画像の累積輝度値Ｌ１が異なるため、警告灯の種類ごとに閾値Ｌｔｈを設定するのが好適である。   Note that a specific example of the image recognition processing for an area corresponding to another warning light different from the fuel warning light in the display area, that is, the image recognition processing for detecting whether the other warning light is turned on is described above. Since this is the same as the specific example, illustration and description are omitted. However, since the cumulative luminance value L1 of the image corresponding to the lighting state differs for each type of warning light, it is preferable to set the threshold Lth for each type of warning light.

なお、画像生成用情報は車両情報に限定されるものではなく、画像認識処理により検出可能な情報であれば如何なる情報であっても良い。表示制御装置１００により生成される画像は、画像生成用情報を示すものであれば良く、自動車用計器盤に対応する画像に限定されるものではない。   Note that the image generation information is not limited to vehicle information, and may be any information as long as the information can be detected by image recognition processing. The image generated by the display control device 100 only needs to indicate image generation information, and is not limited to an image corresponding to an instrument panel for an automobile.

ただし、画像生成用情報が車両情報と異なる他の種類の情報を含むものである場合、表示画像が複雑になり、上記のように簡略化された画像認識処理を用いることができない可能性がある。この場合、情報検出部１３は、簡略化されていない通常の画像認識処理（例えば２値化されていない全体画像と参照画像とのパターンマッチングなど）を実行することにより、表示画像が示す情報を検出するものであっても良い。または、この場合、情報検出部１３は、機械学習の結果に基づく画像認識処理を実行することにより、表示画像が示す情報を高精度に検出するものであっても良い。   However, if the image generation information includes information of another type different from the vehicle information, the display image becomes complicated, and the simplified image recognition processing as described above may not be able to be used. In this case, the information detection unit 13 executes the normal image recognition processing that is not simplified (for example, pattern matching between the entire image that has not been binarized and the reference image), thereby obtaining the information indicated by the display image. What is detected may be used. Alternatively, in this case, the information detection unit 13 may detect the information indicated by the display image with high accuracy by executing the image recognition process based on the result of the machine learning.

また、表示制御装置１００及び表示装置２００の各々は、ＥＣＵ２と異なる他のデバイスから画像生成用情報を受信するものであっても良い。具体的には、例えば、表示制御装置１００及び表示装置２００の各々は、車両１に持ち込まれたスマートフォンなどの携帯情報端末から画像生成用情報を受信するものであって良い。または、例えば、表示制御装置１００及び表示装置２００の各々は、車両１に搭載されたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機などの車載器から画像生成用情報を受信するものであっても良い。   Further, each of the display control device 100 and the display device 200 may receive image generation information from another device different from the ECU 2. Specifically, for example, each of the display control device 100 and the display device 200 may receive image generation information from a portable information terminal such as a smartphone brought into the vehicle 1. Alternatively, for example, each of the display control device 100 and the display device 200 may receive image generation information from a vehicle-mounted device such as a GPS (Global Positioning System) receiver mounted on the vehicle 1.

また、表示制御装置１００及び表示装置２００の用途は自動車用計器盤に対応する表示システムに限定されるものではない。具体的には、例えば、表示装置２００が車両１のダッシュボードに取り付けられており、表示制御装置１００がカーナビゲーション用の各種画像を生成するもの、又はディスプレイオーディオ用の各種画像を生成するものであっても良い。または、例えば、表示装置２００が車両１の後部座席に設けられており、表示制御装置１００がＲＳＥ（Ｒｅａｒ Ｓｅａｔ Ｅｎｔｅｒｔａｉｎｍｅｎｔ）用の各種画像を生成するものであっても良い。   Further, the application of the display control device 100 and the display device 200 is not limited to a display system corresponding to an instrument panel for an automobile. Specifically, for example, the display device 200 is attached to the dashboard of the vehicle 1, and the display control device 100 generates various images for car navigation or generates various images for display audio. There may be. Alternatively, for example, the display device 200 may be provided in the rear seat of the vehicle 1, and the display control device 100 may generate various images for RSE (Rear Seat Entertainment).

また、表示制御装置１００及び表示装置２００は車載用に限定されるものではない。異常検出装置３００は、携帯用、家庭用又は産業用など、如何なる用途の表示制御装置１００及び表示装置２００における異常検出にも用いることができる。   Further, the display control device 100 and the display device 200 are not limited to those mounted on a vehicle. The abnormality detection device 300 can be used for abnormality detection in the display control device 100 and the display device 200 for any use such as portable, home use, or industrial use.

また、表示制御装置１００は表示装置２００と一体に構成されたものであっても良い。この場合のブロック図を図１０及び図１１に示す。この場合、図１０に示す如く圧縮部８及び伸張部９は不要であり、図１１に示す如くＩＣ２４及びＩＣ２５は不要である。図１０に示す異常検出部１５は、検出情報の内容と画像生成用情報の内容とが不一致である場合、分配部３、メーター描画部４、警告灯描画部５、合成部６又は拡縮部１０のうちの少なくとも一部に異常が発生していると判定する。図１１に示すＩＣ２８は、検出情報の内容と画像生成用情報の内容とが不一致である場合、マイコン２１、ＳｏＣ２２又はＩＣ２６のうちの少なくとも一部に異常が発生していると判定する。   Further, the display control device 100 may be configured integrally with the display device 200. FIGS. 10 and 11 show block diagrams in this case. In this case, the compression section 8 and the expansion section 9 are unnecessary as shown in FIG. 10, and the ICs 24 and 25 are unnecessary as shown in FIG. When the content of the detection information and the content of the information for image generation do not match, the abnormality detection unit 15 illustrated in FIG. 10 determines whether the distribution unit 3, the meter drawing unit 4, the warning lamp drawing unit 5, the combining unit 6, or the scaling unit 10 It is determined that an abnormality has occurred in at least a part of them. When the content of the detection information does not match the content of the image generation information, the IC 28 illustrated in FIG. 11 determines that an abnormality has occurred in at least a part of the microcomputer 21, the SoC 22, or the IC 26.

また、異常検出装置３００のハードウェアはＩＣ２８に限定されるものではない。図１２を参照して、異常検出装置３００のハードウェア構成の他の例について説明する。   The hardware of the abnormality detection device 300 is not limited to the IC 28. With reference to FIG. 12, another example of the hardware configuration of the abnormality detection device 300 will be described.

図１２Ａに示す如く、異常検出装置３００はコンピュータにより構成されており、プロセッサ３１及びメモリ３２を有している。メモリ３２には、当該コンピュータを図１に示す画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５として機能させるためのプログラムが記憶されている。メモリ３２に記憶されたプログラムをプロセッサ３１が読み出して実行することにより、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５の機能が実現される。   As shown in FIG. 12A, the abnormality detection device 300 is configured by a computer, and has a processor 31 and a memory 32. The memory 32 stores a program for causing the computer to function as the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 illustrated in FIG. The functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 are realized by the processor 31 reading and executing the program stored in the memory 32.

プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などにより構成されている。メモリ３２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクにより構成されている。   The processor 31 includes, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, a DSP (Digital Signal Processor), or the like. The memory 32 is, for example, a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), an EEPROM (Electrically Available Memory, a Semiconductor, etc.). It is constituted by an optical disk or a magneto-optical disk.

または、図１２Ｂに示す如く、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５の機能が専用の処理回路３３により実現されるものであっても良い。処理回路３３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）若しくはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）又はこれらを組み合わせたものである。   Alternatively, as shown in FIG. 12B, the functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 may be realized by a dedicated processing circuit 33. The processing circuit 33 includes, for example, an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), an FPGA (Field-Programmable Gate Array), and a SoC (System-Lag- Or a combination thereof.

なお、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５の各部の機能それぞれを処理回路３３で実現しても良いし、各部の機能をまとめて処理回路３３で実現しても良い。また、画像取得部１２、情報検出部１３、情報取得部１４及び異常検出部１５のうちの一部の機能を図１２Ａに示すプロセッサ３１及びメモリ３２により実現し、残余の機能を図１２Ｂに示す処理回路３３により実現しても良い。   The functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 may be realized by the processing circuit 33, or the functions of the units may be realized together by the processing circuit 33. May be. In addition, some of the functions of the image acquisition unit 12, the information detection unit 13, the information acquisition unit 14, and the abnormality detection unit 15 are realized by the processor 31 and the memory 32 illustrated in FIG. 12A, and the remaining functions are illustrated in FIG. 12B. The processing may be realized by the processing circuit 33.

以上のように、実施の形態１の異常検出装置３００は、表示制御装置１００による画像の生成に用いられる画像生成用情報を取得する情報取得部１４と、表示装置２００における表示画像を取得する画像取得部１２と、表示画像に対する画像認識処理を実行することにより、表示画像が示す情報を検出する情報検出部１３と、画像生成用情報と情報検出部１３にて検出された情報とを比較することにより、表示制御装置１００及び表示装置２００における異常の発生を検出する異常検出部１５とを備える。これにより、表示画像のフリーズを異常として検出することができるのはもちろん、表示制御装置１００に入力される情報（画像生成用情報）と表示画像が示す情報（検出情報）との間にずれが生じていることも異常として検出することができる。すなわち、表示制御装置１００及び表示装置２００を含む表示システムにおいて、フリーズ及び誤動作を含む複数種類の異常を検出することができる。   As described above, the abnormality detection device 300 according to the first embodiment includes the information acquisition unit 14 that acquires image generation information used for image generation by the display control device 100 and the image acquisition unit 14 that acquires a display image on the display device 200. The acquisition unit 12 performs an image recognition process on the display image, thereby comparing the information detection unit 13 that detects information indicated by the display image with the image generation information and the information detected by the information detection unit 13. Accordingly, the display control device 100 and the display device 200 include an abnormality detection unit 15 that detects occurrence of an abnormality. Thereby, not only can a freeze of the display image be detected as abnormal, but also a difference between information (image generation information) input to the display control device 100 and information (detection information) indicated by the display image can be obtained. What has occurred can also be detected as abnormal. That is, in a display system including the display control device 100 and the display device 200, a plurality of types of abnormalities including a freeze and a malfunction can be detected.

また、情報検出部１３は、表示画像が車両情報を示す画像である場合、表示画像が車両情報と異なる他の種類の情報を示す画像である場合に比して簡略化された画像認識処理を実行する。これにより、図２に示すＩＣ２８、図１２Ａに示すプロセッサ３１又は図１２Ｂに示す処理回路３３の演算量を低減することができる。この結果、ＳｏＣ２２に比して画像処理能力の低いＩＣ２８、プロセッサ３１又は処理回路３３を用いて異常検出装置３００を実現することができる。   Further, the information detection unit 13 performs a simplified image recognition process when the display image is an image indicating vehicle information, as compared with a case where the display image is an image indicating another type of information different from the vehicle information. Execute. Thereby, the amount of calculation of the IC 28 shown in FIG. 2, the processor 31 shown in FIG. 12A, or the processing circuit 33 shown in FIG. 12B can be reduced. As a result, the abnormality detection device 300 can be realized by using the IC 28, the processor 31, or the processing circuit 33 having a lower image processing capability than the SoC 22.

また、情報検出部１３は、車両情報を示す表示画像のうちのメーターに対応する領域を２値化して、当該２値化された画像と参照画像とのパターンマッチングによりメーターが示す数値を検出する。これにより、簡略化された画像認識処理（第１の具体例）にて、スピードメーターが示す車速又はタコメーターが示す回転数などの数値を検出することができる。   In addition, the information detection unit 13 binarizes an area corresponding to the meter in the display image indicating the vehicle information, and detects a numerical value indicated by the meter by pattern matching between the binarized image and the reference image. . Thus, numerical values such as the vehicle speed indicated by the speedometer or the number of revolutions indicated by the tachometer can be detected by the simplified image recognition process (first specific example).

または、情報検出部１３は、車両情報を示す表示画像のうちのメーターに対応する領域からメーターの針に対応する部分を抽出して、当該抽出された画像と参照画像とのパターンマッチングによりメーターが示す数値を検出する。これにより、簡略化された画像認識処理（第２の具体例）にて、スピードメーターが示す車速又はタコメーターが示す回転数などの数値を検出することができる。   Alternatively, the information detection unit 13 extracts a portion corresponding to the needle of the meter from the region corresponding to the meter in the display image indicating the vehicle information, and determines the meter by performing pattern matching between the extracted image and the reference image. Detect the numerical value shown. Thus, numerical values such as the vehicle speed indicated by the speedometer or the rotation speed indicated by the tachometer can be detected by the simplified image recognition process (second specific example).

または、情報検出部１３は、車両情報を示す表示画像のうちのメーターに対応する領域からメーターの針に対応する部分を抽出して、当該針の角度に基づきメーターが示す数値を検出する。これにより、簡略化された画像認識処理（第３の具体例）にて、スピードメーターが示す車速又はタコメーターが示す回転数などの数値を検出することができる。   Alternatively, the information detection unit 13 extracts a portion corresponding to the needle of the meter from the area corresponding to the meter in the display image indicating the vehicle information, and detects a numerical value indicated by the meter based on the angle of the hand. Thus, numerical values such as the vehicle speed indicated by the speedometer or the rotation speed indicated by the tachometer can be detected by the simplified image recognition process (third specific example).

また、情報検出部１３は、車両情報を示す表示画像のうちの警告灯に対応する領域における累積輝度値Ｌを算出して、当該累積輝度値Ｌを閾値Ｌｔｈと比較することにより警告灯が点灯しているか否かを検出する。これにより、簡略化された画像認識処理にて、燃料警告灯などの各種警告灯が点灯しているか否かを検出することができる。   In addition, the information detection unit 13 calculates the cumulative luminance value L in an area corresponding to the warning light in the display image indicating the vehicle information, and compares the cumulative luminance value L with the threshold Lth to turn on the warning light. Detect whether or not. Thereby, it is possible to detect whether or not various warning lights such as the fuel warning light are lit by the simplified image recognition processing.

また、情報取得部１４は、電子制御ユニット（ＥＣＵ）２、携帯情報端末又は車載器から画像生成用情報を取得する。これにより、異常検出装置３００を車載用の表示制御装置１００及び表示装置２００に適用したとき、表示制御装置１００及び表示装置２００の用途などに応じて種々の画像生成用情報を取得することができる。   In addition, the information acquisition unit 14 acquires image generation information from the electronic control unit (ECU) 2, a portable information terminal, or a vehicle-mounted device. Thus, when the abnormality detection device 300 is applied to the display control device 100 and the display device 200 for mounting on a vehicle, various pieces of image generation information can be obtained according to the use of the display control device 100 and the display device 200. .

また、実施の形態１の異常検出方法は、情報取得部１４が、表示制御装置１００による画像の生成に用いられる画像生成用情報を取得するステップ（ステップＳＴ３）と、画像取得部１２が、表示装置２００における表示画像を取得するステップ（ステップＳＴ１）と、情報検出部１３が、表示画像に対する画像認識処理を実行することにより、表示画像が示す情報を検出するステップ（ステップＳＴ２）と、異常検出部１５が、画像生成用情報と情報検出部１３にて検出された情報とを比較することにより、表示制御装置１００及び表示装置２００における異常の発生を検出するステップ（ステップＳＴ４）とを備える。これにより、表示制御装置１００及び表示装置２００を含む表示システムにおいて、フリーズ及び誤動作を含む複数種類の異常を検出することができる。   In addition, in the abnormality detection method according to the first embodiment, the information acquisition unit 14 acquires image generation information used for image generation by the display control device 100 (step ST3). A step of acquiring a display image in the apparatus 200 (step ST1), a step of detecting information indicated by the display image by the information detection unit 13 executing image recognition processing on the display image (step ST2), and a step of detecting abnormality. A step of detecting the occurrence of an abnormality in the display control device 100 and the display device 200 by comparing the image generation information with the information detected by the information detection unit 13 (step ST4). Thereby, in a display system including the display control device 100 and the display device 200, it is possible to detect a plurality of types of abnormalities including a freeze and a malfunction.

実施の形態２．
図１３は、実施の形態２に係る表示制御装置、表示装置及び異常検出装置の要部を示すブロック図である。図１３を参照して、実施の形態２の表示制御装置１００ａ、表示装置２００ａ及び異常検出装置３００ａについて、自動車用計器盤に対応する表示システムに適用した例を中心に説明する。Embodiment 2 FIG.
FIG. 13 is a block diagram illustrating main parts of a display control device, a display device, and an abnormality detection device according to Embodiment 2. With reference to FIG. 13, a display control device 100a, a display device 200a, and an abnormality detection device 300a according to the second embodiment will be described focusing on an example applied to a display system corresponding to an instrument panel for a vehicle.

なお、図１３において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。また、表示制御装置１００ａ、表示装置２００ａ及び異常検出装置３００ａのハードウェア構成は、実施の形態１にて図２を参照して説明したものと同様であるため、図示及び説明を省略する。   In FIG. 13, the same reference numerals are given to the same blocks as the blocks shown in FIG. 1, and the description will be omitted. The hardware configurations of the display control device 100a, the display device 200a, and the abnormality detection device 300a are the same as those described in the first embodiment with reference to FIG.

図１３に示す如く、異常検出装置３００ａは通知制御部１６を有している。通知制御部１６は、異常検出部１５により異常の発生が検出されたとき、当該異常が発生したことを示す画像（以下「異常通知画像」という。）を表示装置２００ａと異なる他の表示装置４００に表示させる制御、又は当該異常が発生したことを示す音声（以下「異常通知音声」という。）を音声出力装置５００に出力させる制御のうちの少なくとも一方を実行するものである。   As shown in FIG. 13, the abnormality detection device 300a has a notification control unit 16. When the occurrence of the abnormality is detected by the abnormality detection unit 15, the notification control unit 16 displays an image indicating that the abnormality has occurred (hereinafter, referred to as “an abnormality notification image”) on another display device 400 different from the display device 200a. , Or at least one of a control for causing the sound output device 500 to output a sound (hereinafter, referred to as “fault notification sound”) indicating that the abnormality has occurred.

表示装置４００は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイなどのディスプレイにより構成されている。表示装置４００は、例えば、車両１のダッシュボードに取り付けられており、カーナビゲーション用の各種画像又はディスプレイオーディオ用の各種画像を表示するものである。または、例えば、表示装置４００は、車両１に持ち込まれたスマートフォン又はＰＮＤ（Ｐｏｒｔａｂｌｅ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）などの携帯情報端末のディスプレイにより構成されている。   The display device 400 is configured by a display such as a liquid crystal display or an organic EL display, for example. The display device 400 is attached to, for example, a dashboard of the vehicle 1 and displays various images for car navigation or various images for display audio. Alternatively, for example, the display device 400 is configured by a display of a portable information terminal such as a smartphone or a PND (Portable Navigation Device) brought into the vehicle 1.

音声出力装置５００は、例えば、車両１に搭載された１個以上のスピーカにより構成されている。   The audio output device 500 includes, for example, one or more speakers mounted on the vehicle 1.

また、異常検出装置３００ａは復帰制御部１７を有している。復帰制御部１７は、異常検出部１５により異常の発生が検出されたとき、表示制御装置１００ａにリセット処理の実行を指示するものである。表示制御装置１００ａは、異常検出装置３００ａからの指示に応じて自身をリセットする機能を有している。   Further, the abnormality detection device 300a has a return control unit 17. The return control unit 17 instructs the display control device 100a to execute a reset process when the occurrence of an abnormality is detected by the abnormality detection unit 15. The display control device 100a has a function of resetting itself in response to an instruction from the abnormality detection device 300a.

次に、図１４のフローチャートを参照して、異常検出装置３００ａの動作について説明する。なお、図１４に示すステップＳＴ１〜ＳＴ７のうちのステップＳＴ１〜ＳＴ４の処理内容は、実施の形態１にて図３を参照して説明したものと同様であるため説明を省略する。   Next, the operation of the abnormality detection device 300a will be described with reference to the flowchart of FIG. The processing contents of steps ST1 to ST4 of steps ST1 to ST7 shown in FIG. 14 are the same as those described in the first embodiment with reference to FIG.

ステップＳＴ４で異常が検出されなかった場合（ステップＳＴ５“ＮＯ”）、異常検出装置３００ａの処理はステップＳＴ１に戻る。他方、ステップＳＴ４で異常が検出された場合（ステップＳＴ５“ＹＥＳ”）、情報検出部１３は、その旨を通知制御部１６及び復帰制御部１７にそれぞれ通知する。これにより、異常検出装置３００ａの処理はステップＳＴ６，ＳＴ７に進む。   When no abnormality is detected in step ST4 (“NO” in step ST5), the process of the abnormality detecting device 300a returns to step ST1. On the other hand, when an abnormality is detected in step ST4 (“YES” in step ST5), the information detection unit 13 notifies the notification control unit 16 and the return control unit 17 of the detection. Thereby, the process of the abnormality detection device 300a proceeds to steps ST6 and ST7.

ステップＳＴ６にて、通知制御部１６は、異常通知画像を表示装置４００に表示させる制御、又は異常通知音声を音声出力装置５００に出力させる制御のうちの少なくとも一方を実行する。これにより、表示制御装置１００ａ又は表示装置２００ａに異常が発生したことをユーザに知らせることができる。   In step ST <b> 6, the notification control unit 16 performs at least one of control for displaying an abnormality notification image on the display device 400 and control for outputting an abnormality notification sound to the audio output device 500. Thereby, the user can be notified that an abnormality has occurred in the display control device 100a or the display device 200a.

ステップＳＴ７にて、復帰制御部１７は、表示制御装置１００ａにリセット処理の実行を指示する。表示制御装置１００ａにて一時的な異常（例えばソフトウェア的な異常）が発生している場合、リセットにより表示制御装置１００ａを正常な状態に復帰させることができる。   In step ST7, the return control unit 17 instructs the display control device 100a to execute a reset process. When a temporary abnormality (for example, a software abnormality) occurs in the display control device 100a, the display control device 100a can be returned to a normal state by resetting.

なお、異常検出装置３００ａは、通知制御部１６又は復帰制御部１７のうちのいずれか一方のみを有するものであっても良い。すなわち、異常検出装置３００ａは、ステップＳＴ６の処理又はステップＳＴ７の処理のうちのいずれか一方のみを実行するものであっても良い。   Note that the abnormality detection device 300a may include only one of the notification control unit 16 and the return control unit 17. That is, the abnormality detection device 300a may execute only one of the processing of step ST6 and the processing of step ST7.

また、異常検出装置３００ａが通知制御部１６及び復帰制御部１７の両方を有する場合、異常通知画像は、異常が発生したことに加えて、表示制御装置１００ａがリセットされることを示すものであっても良い。同様に、異常通知音声は、異常が発生したことに加えて、表示制御装置１００ａがリセットされることを示すものであっても良い。   When the abnormality detection device 300a has both the notification control unit 16 and the return control unit 17, the abnormality notification image indicates that the display control device 100a is reset in addition to the occurrence of the abnormality. May be. Similarly, the abnormality notification sound may indicate that the display control device 100a is reset in addition to the occurrence of the abnormality.

また、通知制御部１６は、表示装置４００に代えて又は加えて、表示装置２００の表示部１１に異常通知画像を表示させるものであっても良い。   Further, the notification control unit 16 may display an abnormality notification image on the display unit 11 of the display device 200 instead of or in addition to the display device 400.

そのほか、実施の形態２の表示制御装置１００ａ、表示装置２００ａ及び異常検出装置３００ａは、実施の形態１にて説明したものと同様の種々の変形例を適用することができる。例えば、異常検出装置３００ａのハードウェア構成は、実施の形態１にて図１２を参照して説明したものと同様であっても良い。   In addition, various modifications similar to those described in the first embodiment can be applied to the display control device 100a, the display device 200a, and the abnormality detection device 300a in the second embodiment. For example, the hardware configuration of abnormality detection device 300a may be the same as that described in the first embodiment with reference to FIG.

以上のように、実施の形態２の異常検出装置３００ａは、異常検出部１５により異常の発生が検出されたとき、異常が発生したことを示す画像を表示装置２００ａと異なる他の表示装置４００に表示させる制御、又は異常が発生したことを示す音声を音声出力装置５００に出力させる制御のうちの少なくとも一方を実行する通知制御部１６を備える。これにより、表示制御装置１００ａ又は表示装置２００ａに異常が発生したことをユーザに知らせることができる。   As described above, when the abnormality detection unit 15 detects the occurrence of the abnormality, the abnormality detection device 300a according to the second embodiment displays an image indicating that the abnormality has occurred on another display device 400 different from the display device 200a. The notification control unit 16 performs at least one of control for displaying and control for outputting a sound indicating that an abnormality has occurred to the sound output device 500. Thereby, the user can be notified that an abnormality has occurred in the display control device 100a or the display device 200a.

また、異常検出装置３００ａは、異常検出部１５により異常の発生が検出されたとき、表示制御装置１００ａにリセット処理の実行を指示する復帰制御部１７を備える。表示制御装置１００ａにて一時的な異常（例えばソフトウェア的な異常）が発生している場合、リセットにより表示制御装置１００ａを正常な状態に復帰させることができる。   Further, the abnormality detection device 300a includes a return control unit 17 that instructs the display control device 100a to execute a reset process when the abnormality detection unit 15 detects the occurrence of an abnormality. When a temporary abnormality (for example, a software abnormality) occurs in the display control device 100a, the display control device 100a can be returned to a normal state by resetting.

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。   In addition, within the scope of the present invention, any combination of the embodiments, a modification of an arbitrary component of each embodiment, or an omission of any component in each embodiment is possible within the scope of the invention. .

本発明の異常検出装置及び異常検出方法は、例えば、自動車用計器盤に対応する表示システムに応用することができる。   The abnormality detection device and abnormality detection method of the present invention can be applied to, for example, a display system corresponding to an instrument panel for an automobile.

１ 車両、２ 電子制御ユニット（ＥＣＵ）、３ 分配部、４ メーター描画部、５ 警告灯描画部、６ 合成部、７ 画像生成部、８ 圧縮部、９ 伸張部、１０ 拡縮部、１１ 表示部、１２ 画像取得部、１３ 情報検出部、１４ 情報取得部、１５ 異常検出部、１６ 通知制御部、１７ 復帰制御部、２１ マイクロコントローラ（マイコン）、２２ システムオンチップ（ＳｏＣ）、２３ メモリ、２４ 集積回路（ＩＣ）、２５ 集積回路（ＩＣ）、２６ 集積回路（ＩＣ）、２７ 液晶モジュール、２８ 集積回路（ＩＣ）、３１ プロセッサ、３２ メモリ、３３ 処理回路、１００，１００ａ 表示制御装置、２００，２００ａ 表示装置、３００，３００ａ 異常検出装置、４００ 表示装置、５００ 音声出力装置。   Reference Signs List 1 vehicle, 2 electronic control unit (ECU), 3 distribution unit, 4 meter drawing unit, 5 warning light drawing unit, 6 synthesis unit, 7 image generation unit, 8 compression unit, 9 expansion unit, 10 scaling unit, 11 display unit , 12 image acquisition unit, 13 information detection unit, 14 information acquisition unit, 15 abnormality detection unit, 16 notification control unit, 17 return control unit, 21 microcontroller (microcomputer), 22 system on chip (SoC), 23 memory, 24 Integrated circuit (IC), 25 integrated circuit (IC), 26 integrated circuit (IC), 27 liquid crystal module, 28 integrated circuit (IC), 31 processor, 32 memory, 33 processing circuit, 100, 100a display control device, 200, 200a display device, 300, 300a abnormality detection device, 400 display device, 500 audio output device.

Claims (10)

表示制御装置により画像を生成するために用いられる情報であって、当該画像に表示される値又は状態に関する情報を含む画像生成用情報を取得する情報取得部と、
表示装置における表示画像を取得する画像取得部と、
前記表示画像のうち、前記画像生成用情報に基づいて描画された領域に対して、当該領域が示す値又は状態に関する情報を検出するための画像認識処理を実行することにより、前記表示画像が示す情報を検出する情報検出部と、
前記画像生成用情報と前記情報検出部にて検出された情報とを比較することにより、前記表示制御装置及び前記表示装置における異常の発生を検出する異常検出部と、
を備える異常検出装置。 Is information used to generate the by Ri image to the display control unit, an information acquisition section that acquires image generation information including the information about the value or status is displayed in the image,
An image acquisition unit that acquires a display image on the display device,
By performing an image recognition process for detecting information related to a value or a state indicated by the region on an area drawn based on the image generation information, the display image indicates An information detection unit for detecting information;
By comparing the image generation information and the information detected by the information detection unit, an abnormality detection unit that detects the occurrence of an abnormality in the display control device and the display device,
An abnormality detection device comprising: 前記情報検出部は、前記表示画像が車両情報を示す画像である場合、前記表示画像が前記車両情報と異なる他の種類の情報を示す画像である場合に比して演算量が低減された前記画像認識処理を実行することを特徴とする請求項１記載の異常検出装置。 The information detection unit is configured such that, when the display image is an image indicating vehicle information, the amount of calculation is reduced as compared to a case where the display image is an image indicating another type of information different from the vehicle information. The abnormality detection device according to claim 1, wherein the abnormality detection device performs an image recognition process. 前記情報検出部は、前記車両情報を示す前記表示画像のうちのメーターに対応する領域を２値化して、当該２値化された画像と参照画像とのパターンマッチングにより前記メーターが示す数値を検出することを特徴とする請求項２記載の異常検出装置。   The information detection unit binarizes an area corresponding to a meter in the display image indicating the vehicle information, and detects a numerical value indicated by the meter by pattern matching between the binarized image and a reference image. The abnormality detection device according to claim 2, wherein 前記情報検出部は、前記車両情報を示す前記表示画像のうちのメーターに対応する領域から前記メーターの針に対応する部分を抽出して、当該抽出された画像と参照画像とのパターンマッチングにより前記メーターが示す数値を検出することを特徴とする請求項２記載の異常検出装置。   The information detection unit extracts a portion corresponding to the hand of the meter from a region corresponding to the meter in the display image indicating the vehicle information, and performs pattern matching between the extracted image and a reference image. 3. The abnormality detecting device according to claim 2, wherein a numerical value indicated by the meter is detected. 前記情報検出部は、前記車両情報を示す前記表示画像のうちのメーターに対応する領域から前記メーターの針に対応する部分を抽出して、当該針の角度に基づき前記メーターが示す数値を検出することを特徴とする請求項２記載の異常検出装置。   The information detection unit extracts a portion corresponding to a needle of the meter from a region corresponding to the meter in the display image indicating the vehicle information, and detects a numerical value indicated by the meter based on the angle of the hand. The abnormality detection device according to claim 2, wherein: 前記情報検出部は、前記車両情報を示す前記表示画像のうちの警告灯に対応する領域における累積輝度値を算出して、当該累積輝度値を閾値と比較することにより前記警告灯が点灯しているか否かを検出することを特徴とする請求項２記載の異常検出装置。   The information detection unit calculates a cumulative luminance value in a region corresponding to the warning light in the display image indicating the vehicle information, and the warning light is turned on by comparing the cumulative luminance value with a threshold. 3. The abnormality detection device according to claim 2, wherein the abnormality is detected. 前記異常検出部により前記異常の発生が検出されたとき、前記異常が発生したことを示す画像を前記表示装置と異なる他の表示装置に表示させる制御、又は前記異常が発生したことを示す音声を音声出力装置に出力させる制御のうちの少なくとも一方を実行する通知制御部を備えることを特徴とする請求項１記載の異常検出装置。   When the occurrence of the abnormality is detected by the abnormality detection unit, control to display an image indicating that the abnormality has occurred on another display device different from the display device, or sound indicating that the abnormality has occurred 2. The abnormality detection device according to claim 1, further comprising: a notification control unit that performs at least one of control to output to the audio output device. 前記異常検出部により前記異常の発生が検出されたとき、前記表示制御装置にリセット処理の実行を指示する復帰制御部を備えることを特徴とする請求項１記載の異常検出装置。   The abnormality detection device according to claim 1, further comprising: a return control unit that instructs the display control device to execute a reset process when the abnormality detection unit detects the occurrence of the abnormality. 前記情報取得部は、電子制御ユニット、携帯情報端末又は車載器から前記画像生成用情報を取得することを特徴とする請求項１記載の異常検出装置。   The abnormality detection device according to claim 1, wherein the information acquisition unit acquires the image generation information from an electronic control unit, a portable information terminal, or a vehicle-mounted device. 情報取得部が、表示制御装置により画像を生成するために用いられる情報であって、当該画像に表示される値又は状態に関する情報を含む画像生成用情報を取得するステップと、
画像取得部が、表示装置における表示画像を取得するステップと、
情報検出部が、前記表示画像のうち、前記画像生成用情報に基づいて描画された領域に対して、当該領域が示す値又は状態に関する情報を検出するための画像認識処理を実行することにより、前記表示画像が示す情報を検出するステップと、
異常検出部が、前記画像生成用情報と前記情報検出部にて検出された情報とを比較することにより、前記表示制御装置及び前記表示装置における異常の発生を検出するステップと、
を備える異常検出方法。 And step information acquiring unit is information used to generate the by Ri image to the display control unit, which acquires image generation information including the information about the value or status is displayed in the image,
An image acquiring unit for acquiring a display image on the display device;
The information detection unit, of the display image , for an area drawn based on the image generation information, by performing an image recognition process for detecting information related to the value or state indicated by the area , Detecting information indicated by the display image;
An abnormality detection unit that detects the occurrence of an abnormality in the display control device and the display device by comparing the image generation information with the information detected by the information detection unit;
An abnormality detection method comprising:
JP2019523289A 2017-06-08 2017-06-08 Abnormality detection device and abnormality detection method Active JP6664548B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/021306 WO2018225210A1 (en) 2017-06-08 2017-06-08 Abnormality detection device and abnormality detection method

Publications (2)

Publication Number Publication Date
JPWO2018225210A1 JPWO2018225210A1 (en) 2019-11-07
JP6664548B2 true JP6664548B2 (en) 2020-03-13

Family

ID=64565874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019523289A Active JP6664548B2 (en) 2017-06-08 2017-06-08 Abnormality detection device and abnormality detection method

Country Status (2)

Country Link
JP (1) JP6664548B2 (en)
WO (1) WO2018225210A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067689A1 (en) * 2021-10-19 2023-04-27 日産自動車株式会社 Failure detection device and failure detection method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3887803B2 (en) * 2005-03-01 2007-02-28 讀賣テレビ放送株式会社 Data broadcasting monitoring system
JP2008234160A (en) * 2007-03-19 2008-10-02 Meiyu Techno Co Ltd Meter reader for meter inspection, handy terminal, and meter inspection system
JP2011188134A (en) * 2010-03-05 2011-09-22 Panasonic Corp Monitoring system, control method thereof, and monitoring device
JP5670117B2 (en) * 2010-08-04 2015-02-18 ルネサスエレクトロニクス株式会社 Display control device
JP6571424B2 (en) * 2015-07-06 2019-09-04 株式会社トランストロン Fault diagnosis device

Also Published As

Publication number Publication date
WO2018225210A1 (en) 2018-12-13
JPWO2018225210A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US10176594B2 (en) Progressive in-vehicle camera calibrator, image generator, in-vehicle camera calibration method, and image generation method
US10521321B2 (en) Diverse redundancy approach for safety critical applications
US10134139B2 (en) Data content integrity in display subsystem for safety critical use cases
US10848272B2 (en) Error detection in automobile tell-tales
CN111480195B (en) Data content integrity check value based on image blocks in GPU subsystem
JP2010116086A (en) On-vehicle display, display method, and display program
US11186294B2 (en) In-vehicle timing controller and vehicle using the same
CN111279411B (en) Memory address flipping for determining data content integrity in GPU subsystems
US20190179588A1 (en) Mobile terminal display options for vehicle telltales
JP6664548B2 (en) Abnormality detection device and abnormality detection method
JP2019108071A (en) Display device for vehicle
US9485500B2 (en) Visualizing specified safety-critical information in a vehicle
US10163345B2 (en) Method and device for providing an event message indicative of an imminent event for a vehicle
JP5733429B2 (en) Information processing apparatus and information processing method
JP2007038782A (en) Diagnostic device for vehicle
JP5212920B2 (en) Vehicle display device
JP2012073395A (en) Video display device
CN115148169A (en) Image processing device and display device
US20170305344A1 (en) Lighting failure determination apparatus and lighting failure determination method
US20210064905A1 (en) Content integrity of animations
US20230196789A1 (en) Object recognition control device
WO2022044396A1 (en) Object recognition control device and object recognition method
JP7229646B2 (en) image display device
JP2018088119A (en) Control device, control method, and program
WO2022196256A1 (en) Display device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190507

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190507

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200218

R150 Certificate of patent or registration of utility model

Ref document number: 6664548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250