JP7317442B2 - 表示装置およびアイコンの故障判定方法 - Google Patents

Description

本発明は、アイコンの故障判定に関し、特に、車両のインスツルメンツパネル等に表示される警告灯のアイコンの故障判定に関する。

インスツルメンツパネル内に配置された速度計、タコメータ、燃料計などの針式メータを、液晶パネルに置き換える車両が増えつつある。このようなメータパネル内の警告灯表示に関する画像データは、機能安全対象となり、つまり、間違った表示は許されず、アイコンの画像データには故障診断が求められる。画像データの診断に関し、例えば、特許文献１は、入力画像と出力画像とを比較することで異常画像を迅速に検知する方法を開示している。また、特許文献２は、印刷用の画像処理が施された画像データと、この画像データを印刷したときの画像の読取りデータとを比較することで印刷された画像の良否を判定する方法を開示している。

特開２００４－３４５０９１号公報 特開２０１３－４６０９２号公報

図１に示すように、車両のインスツルメンツパネルＰには、車両の走行や運転操作等に関する異常や故障（例えば、シートベルト着用、ガソリン残量、半ドアなど）を警告するための警告灯が表示される。インスツルメンツパネルＰを液晶パネルで構成する場合、警告灯は、法令や規格で決められた固定のアイコンの画像データを液晶ドットパターンで表示することにより行われる。警告灯の故障判定は、警告灯のアイコンが液晶パネルに正しく表示されているか否かを検査することが一般的であり、例えば、チェックサムやＣＲＣなどの検査符号を用いて、アイコンの画像データのビット誤りの有無を判定している。正しいアイコンの画像データから生成されたＣＲＣと、描画処理後のアイコンの画像データから生成されたＣＲＣとを比較し、両者が異なる場合にはビット誤りがあると判定する。ビット誤りがあると判定された場合には、例えば、液晶パネル全体を黒画面にする等により、運転者にその故障の存在を明確に伝えるような実装が行われる。

ところが、最近のメータ類のパネル表示では、柔軟なデザインが求められ、警告灯の背面に、デザインが描画されるケースが出てきた。図２（Ａ）は、黒画面の背景に警告灯のアイコンが合成された一般的な警告灯表示１０であるが、このような黒画面の背景に、図２（Ｂ）に示すように、模様やグラデーションが描画される警告灯表示２０が使用されることがあり、しかもこの背景画像は、動作モード、例えば昼間または夜間で変更される場合もある。このような場合、背景データが変化すると、背景データに合成される警告灯のアイコンの画像データが影響を受け、ＣＲＣによるビット単位の誤り検出では、アイコンの正しい故障判定をすることができなくなる、という課題がある。

本発明は、上記従来の課題を解決し、警告灯などのアイコンの故障判定を正確に行うことができる表示装置およびアイコンの故障判定方法を提供することを目的とする。

本発明に係る表示装置は、アイコンを表示する機能を備えたものであって、アイコンの画像データを生成する生成手段と、生成されたアイコンの画像データを背景データと合成する合成手段と、前記合成手段によって合成された画像データを表示する表示手段と、アイコンの基準画像データを記憶する記憶手段と、前記合成手段により合成された画像データから切り出されたアイコンの画像データと前記記憶手段から読み出されたアイコンの基準画像データとの相関値を計算する計算手段と、前記相関値に基づき前記合成手段で合成されたアイコンの画像データの故障を判定する判定手段とを有する。

ある実施態様では、表示装置はさらに、前記判定手段の判定結果に基づき前記表示手段に故障を表示させる表示制御手段とを含む。ある実施態様では、前記記生成手段は、車両の警告灯に関するアイコンの画像データを生成し、前記背景データは、車両のインスツルメンツパネルのメータ類を表す画像データを含む。ある実施態様では、前記アイコンの基準用画像データは、背景が黒画面である。

本発明に係る表示装置に表示されるアイコンの故障判定方法は、アイコンの画像データを生成するステップと、前記生成されたアイコンの画像データを背景データと合成するステップと、前記合成された画像データから切り出されたアイコンの画像データとアイコンの基準画像データとの相関値を計算するステップと、前記相関値に基づき前記合成されたアイコンの画像データの故障を判定するステップとを含む。

本発明によれば、合成された画像データから切り出されたアイコンの画像データとアイコンの基準画像データとの相関値に基づき合成されたアイコンの画像データの故障を判定するようにしたので、アイコンの画像データの背景部分の画像が多少変わったとしても、それを許容してアイコンの画像データが正しいものと判定することができる。

車両のインスツルメンツパネルの例を示す示である。 図２（Ａ）は、背景が黒画面の警告灯のアイコンの例を示し、図２（Ｂ）は、背景がデザイン化された警告灯のアイコンの例を示す図である。 本発明の実施例に係る車載用表示装置の構成を示すブロック図である。 図４（Ａ）は、背景画像データＤ１の例示、図４（Ｂ）は、描画用のアイコン画像データＤ２の例示、図４（Ｃ）は、合成された画像データＤ３の例示、図４（Ｅ）は、切り出されたアイコン画像データＤ４の例示、図４（Ｅ）は、基準用の正解アイコン画像データＤ５の例示である。

次に、本発明の実施の形態について説明する。本発明に係る表示装置は、液晶等のディスプレイにアイコン等の画像データを表示する機能を備えた電子装置、コンピュータ装置、車載装置、多機能型携帯端末装置、タブレット端末などであることができる。表示媒体は、特に限定されないが、例えば、液晶パネル、有機ＥＬパネル、プロジェクタなどである。

以下の実施例では、インスツルメンツパネルを液晶パネルで構成し、そこにメータ類や警告灯などを表示する機能を備えた車載用表示装置を例示する。図３は、本発明の実施例に係る車載用表示装置１００の概略構成を示すブロック図である。同図に示すように、車載用表示装置１００は、背景画像生成部１１０、アイコン画像生成部１２０、合成部１３０、アイコン画像切出し部１４０、表示制御部１５０、液晶パネル１６０、正解アイコンデータ記憶部１７０、相関計算部１８０および比較部１９０を含んで構成される。液晶パネル１６０は、インスツルメンツパネルＰ（図１を参照）を構成し、液晶パネル１６０には、スピードメーター、タコメータ、燃料計、ラジエータ温度計などのメータ類に加えて、車両の走行や運転操作の異常や警告を表す警告灯などが表示される。また、図３に示す各部の構成は、メモリ、プロセッサ、マイクロコントローラ、ＡＳＩＣ、ロジック等のハードウエアや、ハードウエアに実装されるファームウエアやプログラム等のソフトウエアにより実施される。

背景画像生成部１１０は、インスツルメンツパネルＰに表示するメータ類の背景画像データＤ１を生成する。ここでは、メータ類の画像上に警告灯のアイコンを合成するため、メータ類の画像を背景画像と称している。背景画像生成部１１０は、ここには図示しないＥＣＵ（Electronic Control Unit）またはＥＣＭ（Engine Control Module）からの指示Ｓ１に応答して、例えば図４（Ａ）に示すように、車速やエンジンの回転数などの車両の状態を表す背景画像データＤ１を生成する。背景画像データＤ１は、例えば、ＲＧＢの三原色の階調を８ビットで規定する２４ビットの画像データから構成される。背景画像生成部１１０によって生成された背景画像データＤ１は合成部１３０へ提供される。

アイコン画像生成部１２０は、インスツルメンツパネルＰに表示する警告灯に関するアイコンの画像データＤ２を生成する。アイコン画像生成部１２０は、ＥＣＵやＥＣＭからの指示Ｓ２に応答して、例えば図４（Ｂ）に示すように、警告灯を表すアイコンの画像データＤ２を生成する。アイコンの画像データＤ２は、法令や規格に則った異常や警告を表す画像を含み、決められたフォーマットで構成される。例えば、アイコンの画像データＤ２は、ＲＧＢの三原色の階調を８ビットで規定する２４ビットの画像データから構成され、ｎ×ｍの画素サイズを有する。アイコン画像生成部１２０によって生成されるアイコンの画像データＤ２には、図２（Ａ）に示すように背景が黒画面のものや、図２（Ｂ）に示すように背景に模様やグラデーションが施されたものが含まれる。アイコン画像生成部１２０によって生成されたアイコンの画像データＤ２は合成部１３０へ提供される。

合成部１３０は、背景画像データＤ１とアイコンの画像データＤ２とを受け取り、両者を合成し、液晶パネル１６０で描画するための画像データＤ３を作成する。図４（Ｃ）に、合成された画像データＤ３を例示する。この画像データＤ３は、液晶パネル１６０で描画される表示データである。

アイコン画像切出し部１４０は、合成された画像データＤ３からアイコンの画像データＤ４の切り出しを行う。切り出すサイズは、合成前のアイコンの画像データの画素サイズと同じである。図４（Ｄ）に、切り出されたアイコンの画像データを例示する。切り出されたアイコンの画像データＤ４は、背景画像データＤ１と合成されているため、合成前のアイコンの画像データＤ２と必ずしも同一とは限らない。例えば、図２（Ａ）に示すように、アイコンの画像データの背景が黒画面であれば、その黒画面は、背景画像による影響を受けないため合成によって変化しないが、アイコンの背景が黒画面以外の背景画像であって、背景画像データＤ１を透過する色であったり、あるいは、背景画像データＤ１と混合する色に変化されたり、あるいは昼夜モードによって輝度が変化されれば、アイコンの警告や異常を表す画像に変化が無くてもその背景が変わる可能性がある。

合成部１３０で合成された画像データＤ３は、表示制御部１５０に提供され、表示制御部１５０は、画像データＤ３により液晶パネル１６０を駆動する。これにより、運転者は、インスツルメンツパネルＰに表示されたメータ類や警告灯などを視認する。

正解アイコンデータ記憶部１７０は、基準用の正解アイコン画像データを格納する。基準用の正解アイコン画像データは、アイコン画像生成部１２０で生成されるアイコンの画像データと同じフォーマットで構成される。正解アイコン画像データは、合成されてもその背景が変化しないように、図２（Ａ）に示すように背景が黒画面の画像データである。アイコン画像生成部１２０が複数種の警告灯に関するアイコンの画像データを生成する場合には、正解アイコンデータ記憶部１７０は、それに対応して複数種の警告灯に関する正解アイコン画像データを記憶する。正解アイコンデータ記憶部１７０は、ＥＣＵ／ＥＣＭからの指示Ｓ２によってアイコン画像生成部１２０がアイコンの画像を生成するとき、これに対応する基準用の正解アイコン画像データを読出し、これを相関計算部１８０に提供する。図４（Ｅ）に、読み出された正解アイコン画像データを例示する。

相関計算部１８０は、アイコン画像切出し部１４０で切り出されたアイコンの画像データＤ４と、正解アイコンデータ記憶部１７０から読み出された正解アイコン画像データＤ５を受け取り、両者の相関値または相関係数を計算する。２つの画像データの相関（類似度）は、例えば、２次元の内積計算（正規化相互相関係数の算出）を使うことができ、２つの画像データの各画素の輝度値が類似するほど相関値が大きくなり、画像が完全一致した場合には「１」、全く異なる場合は「０」の相関値を出力し、その出力値の範囲は、最小値０～最大値１までの範囲の連続値となる。

比較部１９０は、相関計算部１８０からの出力値と判定閾値とを比較し、相関計算の出力値が閾値以上であれば、切り出されたアイコンの画像データは正しいと判定する。他方、出力値が閾値未満であれば、切り出されたアイコンの画像データは故障していると判定する。判定結果は、例えば、表示制御部１５０へ提供され、表示制御部１５０は、液晶パネル全体を黒画面にして運転者にアイコンの故障を通知する。

このように本実施例によれば、従来のビット単位でアイコンの画像データの誤りを検出する方法とは異なり、対比するアイコンの画像データの相関値または相関係数を計算することで両者の類似度を求めるようにしたので、アイコンの画像データの背景部分が描画処理によって多少変わったとしても、警告灯のアイコンを運転者が見た際に、警告灯表示として判別可能な程度の変化であれば、判定閾値の調整によりそれを許容してアイコンの画像データが正しいと判定することが可能になる。また、合成部１３０とアイコン画像切出し部１４０との間に、不可逆圧縮／伸張のアルゴリズムが挿入されたとしても、両者の類似度からアイコンの画像データが正しいと判定することができる。さらに、アイコン画像生成部１２０によって生成されたアイコン画像データそのものに故障があった場合には、切り出されたアイコンの画像データＤ４にも生成の故障が反映されるため、アイコン画像生成部１２０によるアイコンの故障も検出することができる。

なお、上記の例では、相関計算部１８０は、正規化相互相関係数を用いて２つの画像の類似度（相関）を算出したが、類似度の算出方法は、これ以外にも、例えば、画素値の差分の二乗和（ＳＳＤ）、画素値の差分の絶対値の和（ＳＡＤ）などの方法を用いることも可能である。

さらに上記実施例では、インスツルメンツパネル内に警告灯のアイコンを表示する例を示したが、本発明は、これに限定されることなく、他の情報に関するアイコンの故障判定にも適用することができる。さらに上記実施例は、アイコンをインスツルメンツパネルに表示する例を示したが、本発明は、これに限定されることなく、インスツルメンツパネル以外の場所に設置されたディスプレイにアイコンを表示する表示装置にも適用することができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：車載用表示装置 １１０；背景画像生成部
１２０：アイコン画像生成部 １３０：合成部
１４０：アイコン画像切出し部 １５０：表示制御部
１６０：液晶パネル １７０正解アイコンデータ記憶部
１８０：層間計算部 １９０：比較部

Claims (6)

1. アイコンを表示する機能を備えた表示装置であって、
   ｎ×ｍの画素サイズを有するアイコンの画像データを生成する生成手段と、
   生成されたアイコンの画像データを背景データと合成する合成手段と、
   前記合成手段によって合成された画像データから、ｎ×ｍの画素サイズを有するアイコンの画像データを切り出す切り出し手段と、
   前記合成手段によって合成された画像データを表示する表示手段と、
   ｎ×ｍの画素サイズを有し、かつ背景が黒画面となるアイコンの基準画像データを記憶する記憶手段と、
   前記生成手段によって生成されたアイコンの画像データに対応するアイコンの基準画像データを前記記憶手段から読出し、前記切り出されたアイコンのｎ×ｍの画素サイズを有する画像データと前記記憶手段から読み出されたアイコンの背景が黒画面となるｎ×ｍの画素サイズを有する基準画像データとの各画素間の相関値を計算する計算手段と、
   前記相関値に基づき前記合成手段で合成されたアイコンの画像データの故障を判定する判定手段と、
   を有する表示装置。
2. 表示装置はさらに、前記判定手段の判定結果に基づき前記表示手段に故障を表示させる表示制御手段とを含む、請求項１に記載の表示装置。
3. 前記生成手段は、車両の警告灯に関するアイコンの画像データを生成し、前記背景データは、車両のインスツルメンツパネルのメータ類を表す画像データを含む、請求項１または２に記載の表示装置。
4. 前記計算手段は、正規化相互相関係数を用いて前記切り出されたアイコンの画像データと前記アイコンの基準画像データの類似度を算出する、請求項１に記載の表示装置。
5. 表示装置に表示されるアイコンの故障判定方法であって、
   ｎ×ｍの画素サイズを有するアイコンの画像データを生成するステップと、
   前記生成されたアイコンの画像データを背景データと合成するステップと、
   前記合成された画像データから、ｎ×ｍの画素サイズを有するアイコンの画像データを切り出すステップと、
   記憶手段に格納された、ｎ×ｍの画素サイズを有し、かつ背景が黒画面となるアイコンの基準画像データを記憶する記憶手段から、前記生成するステップにより生成されたアイコンの画像データに対応するアイコンの基準画像データを前記記憶手段から読み出すステップと、
   前記切り出されたアイコンのｎ×ｍの画素サイズを有する画像データと前記読み出されたアイコンの背景が黒画面となるｎ×ｍの画素サイズを有する基準画像データとの各画素間の相関値を計算するステップと、
   前記相関値に基づき前記合成されたアイコンの画像データの故障を判定するステップと、
   を含む故障判定方法。
6. 前記生成するステップは、車両の警告灯に関するアイコンの画像データを生成し、前記背景データは、車両のインスツルメンツパネルのメータ類を表す画像データを含む、請求項５に記載の故障判定方法。

Images