WO2023067689A1 - 異常検出装置及び異常検出方法 - Google Patents

Abstract

ディスプレイ（１）に表示される画面表示の異常を検出する異常検出装置（４）において、ディスプレイ（１）が表示した画面表示データを監視する画面表示データ監視部（４４）と、画面表示データ、及びユーザにより行われた画面表示に関する操作に基づき、ユーザの操作によって画面表示が遷移したか否かを判定する画面表示フリーズ検出部（４５）を備え、画面表示フリーズ検出部（４５）は、ユーザ操作のから所定期間の間、画面表示が遷移しない場合、画面表示がユーザの操作に応答しないフリーズ状態と判定する異常検出装置（４）。

Description

異常検出装置及び異常検出方法

　本発明は、画面表示の異常を検出する異常検出装置及び異常検出方法に関するものである。

　従来より、ナビゲーション装置から通知された道路情報を用いて車両の制御を行うナビゲーション利用自動制御装置が知られている（特許文献１）。ナビゲーション装置は、衛星測位装置（ＧＰＳ）、地図データを格納する記憶装置、現在地点を地図上で探す機能を持つロケータ、および地図等の表示を行うディスプレイを有する。ＣＰＵにより実行されるロケータプロセスは、記憶装置から地図データを読み出し、衛星測位装置から得た現在位置の緯度、経度の情報を地図上にマッピングする。またロケータプロセスは、自プロセスが正常に動作していることを示すハートビート情報をプロセス監視プロセスに送信する。プロセス監視プロセスは、一定期間、このハートビート情報が来なかった場合、障害が発生したと認識する。

特開２００９－７３３８６号公報

　従来技術は、画面表示を監視して障害の発生の有無を判定しないため、ユーザの操作に対して画面表示が応答しない状態、いわゆる画面表示のフリーズ状態を検出するのが難しい、という問題がある。

　本発明が解決しようとする課題は、画面表示のフリーズ状態を検出できる異常検出装置及び異常検出方法を提供することである。

　本発明は、ディスプレイが表示した画面表示データを監視し、画面表示データ及び画面表示に関するユーザの操作に基づき、ユーザの操作によって画面表示が遷移したか否かを判定し、ユーザの操作から所定期間の間、画面表示が遷移しない場合、画面表示がユーザの操作に応答しないフリーズ状態と判定することにより、上記課題を解決する。

　本発明によれば、画面表示のフリーズ状態を検出することができる。

図１は、第１実施形態に係る異常検出装置を含む画面表示システムの一例を示すブロック図である。 図２は、図１に示す異常検出装置の機能を説明するための図である。 図３は、図２に示すユーザ操作検出部により実行される処理を示すフローチャートの一例である。 図４は、図２に示す画面表示管理部により実行される処理を示すフローチャートの一例である。 図５は、図２に示す画面表示データ監視部及び画面表示フリーズ検出部により実行される処理を示すフローチャートの一例である。 図６は、第２実施形態に係る回復処理部により実行される処理を示すフローチャートの一例である。

　以下、本発明に係る異常検出装置及び異常検出方法の実施の形態を図面に基づいて説明する。

　≪第１実施形態≫
　本実施形態に係る異常検出装置４は、図１に示すように、画面表示システム１００の一部として実現される。図１は、本実施形態に係る画面表示システム１００の一例を示すブロック図である。本実施形態では、画面表示システム１００は、車両に搭載されたシステムであって、ディスプレイ１に画面を表示させるシステムである。車両の乗員は、ディスプレイ１に表示された画面を視認できる。

　画面表示システム１００において、本実施形態に係る異常検出装置４は、ディスプレイ１、操作装置２、及び画面表示関連システム３の中継地点に位置する。異常検出装置４は、乗員が操作装置２を操作した場合、乗員の操作に応じて連動する画面表示関連システム３との間で情報の授受を行う。そして、異常検出装置４は、画面表示関連システム３から入力された情報に基づく画面表示データを、ディスプレイ１に出力して、乗員の操作に応じた画像をディスプレイ１に表示させる。また異常検出装置４は、上述したディスプレイ１に画面を表示させる機能に加えて、画面表示異常を検出する機能を有する。本実施形態では、異常検出装置４は、画面表示異常のうち、いわゆる画面表示のフリーズ状態を検出する機能を有する。画面表示のフリーズ状態とは、乗員が操作装置２を操作しても、乗員の操作に対して画面表示が応答しない状態のことである。画面表示のフリーズ状態を検出する方法については後述する。以上が画面表示システム１００の概略である。なお、本明細書において、「アプリケーション」の用語は、特定の用途や目的のために設計されたソフトウェアを意味する「アプリケーションソフトウェア」の用語と同義とする。また本明細書において、「ボタン」の用語は、乗員の指による押し動作によって操作部がその軸方向に動くことで開閉を行う「プッシュスイッチ」の用語と同義とする。

　図１に示すように、画面表示システム１００は、ディスプレイ１と、操作装置２と、画面表示関連システム３と、異常検出装置４を含む。画面表示システム１００に含まれる各構成は、車両に搭載されており、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）等の車載ネットワークよって接続されている。図１に示す各構成には、車載バッテリの出力電圧に基づく電圧が供給される。例えば、駆動用の車載バッテリを搭載する電気自動車の場合、図１に示す各構成には、駆動用の車載バッテリの出力電圧（例えば、数百Ｖ）をＤＣ－ＤＣコンバータにより降圧した電圧（例えば、１２Ｖ）が供給される。なお、画面表示システム１００が搭載される車両の駆動源は特に限定されず、画面表示システム１００は、電気自動車だけでなく、ハイブリッド自動車やガソリン自動車に搭載されてもよい。図１に示す各構成には、駆動用の車載バッテリよりも電圧が低い、システム用の車載バッテリの電圧が供給されてもよい。

　ディスプレイ１は、異常検出装置４から入力される画面表示データに基づき、画像を表示させる装置である。本実施形態では、乗員が後述する操作装置２を操作した場合、ディスプレイ１の画面表示は、画面表示関連システム３が有する各種アプリケーションによって、その一部又は全部が乗員の操作内容に応じて切り替わる。図１では、１つのディスプレイ１を示しているが、ディスプレイ１の数は特に限定されず、画面表示システム１００は複数のディスプレイ１を含んでいてもよい。

　ディスプレイ１としては、例えば、インストルメントパネルに設けられたメーターディスプレイ１１及びセンターディスプレイ１２等が挙げられる。メーターディスプレイ１１は、運転席前方に設けられ、車速を示すスピードメーター、エンジン回転数を示すタコメータ等、ドライバーによるアクセル操作又はブレーキ操作に応じた情報を表示する。センターディスプレイ１２は、インストルメントパネルの略中央に設けられ、ナビゲーション画面、オーディオ画面等、乗員による画面操作に応じた情報を表示する。

　操作装置２は、乗員がディスプレイ１の画面表示に関する操作を可能な装置である。本実施形態では、画面表示に関する操作には、少なくとも、ディスプレイ１の画面表示の一部又は全部が変更される操作が含まれる。図１では、１つの操作装置２を示しているが、操作装置２の数は特に限定されず、画面表示システム１００は複数の操作装置２を含んでいてもよい。またディスプレイ１の画面表示は、複数の操作装置２から変更可能な構成であってもよい。また操作装置２は、複数のディスプレイ１の画面表示を変更可能な構成であってもよい。また操作装置２の形状、大きさ、材質等は特に限定されない。

　メーターディスプレイ１１の画面表示を変更可能な操作装置２としては、例えば、アクセルペダル２１が挙げられる。例えば、ドライバーがアクセルペダル２１を踏みこむと、後述する車両制御用アプリケーション３１Ａによってアクセル操作に応じたスピードメーターの表示が読み出される。メーターディスプレイ１１は、ドライバーがアクセルペダル２１を操作したことで、異なる車速を表示する。

　またセンターディスプレイ１２の画面表示を変更可能な操作装置２としては、例えば、画面操作用ボタン２２、静電センサ２３、及びステアリングボタン２４等が挙げられる。画面操作用ボタン２２の具体例としては、センターディスプレイ１２の周囲に設けられ、「現在地」の文字が印字された現在地ボタンや、「メニュー」の文字が印字されたメニューボタン等が挙げられる。例えば、センターディスプレイ１２にオーディオ画面が表示された状態で、乗員がメニューボタンを押すと、後述するナビゲーション用アプリケーション３２Ａによってメニュー画面が読み出される。センターディスプレイ１２の画面表示は、乗員が画面操作用ボタン２２を操作したことで、オーディオ画面からメニュー画面に切り替わる。

　また操作装置２は、ディスプレイ１と一体的に設けられる構成であってもよい。ディスプレイ１がタッチパネル式ディスプレイで構成される場合、タッチパネル式ディスプレイに設けられた静電センサ２３は、操作装置２として機能する。例えば、センターディスプレイ１２にメニュー画面が表示された状態で、乗員がメニュー画面内の「ＡＵＤＩＯ」と表示されたアイコンをタッチすると、後述するオーディオ用アプリケーション３３Ａによってオーディオ画面が読み出される。センターディスプレイ１２の画面表示は、乗員のタッチ操作が静電センサ２３に検出されたことで、メニュー画面からオーディオ画面に切り替わる。

　ステアリングボタン２４の具体例としては、ステアリングに設けられ、オーディオのソースを変更可能なソースボタンが挙げられる。例えば、センターディスプレイ１２にオーディオ画面が表示された状態で、ドライバーがソースボタンを押すと、オーディオ用アプリケーション３３Ａによってオーディオのソースを表す表示（ラジオを表す「ＡＭ」や「ＦＭ」の表示等）が読み出される。センターディスプレイ１２の画面表示は、ドライバーがステアリングボタン２４を操作することで、オーディオのソース表示が変更される。

　乗員が操作装置２を操作すると、乗員の操作に対応した操作データが、操作装置２から異常検出装置４に出力される。操作データは、少なくとも、操作装置２に対する乗員の操作内容、操作された操作装置２の種別を含む。乗員の操作内容を示すデータとしては、例えば、操作装置２の入出力ポート値（入出力ポートアドレスともいう）が挙げられる。また操作装置２の種別を示すデータとしては、例えば、アクセルペダル２１、画面操作用ボタン２２、静電センサ２３、及びステアリングボタン２４のそれぞれに対して予め付された種別用の識別子（ＩＤ）が挙げられる。なお、本実施形態では、操作装置２を操作するユーザとして、車両の乗員を例に挙げて説明するが、操作装置２を操作する主体は、車両の乗員に限定されず、車両の乗員以外のユーザであってもよい。

　画面表示関連システム３は、ディスプレイ１の画面表示に関するシステムであって、少なくとも、操作装置２に対する乗員の操作に連動するアプリケーション（以降、画面表示関連アプリケーション３Ａという）を有している。画面表示関連システム３は、画面表示関連アプリケーション３Ａ以外に、ディスプレイ１の画面表示とは関連がないアプリケーションを有していてもよい。画面表示関連システム３には、異常検出装置４から、ディスプレイ１の画面表示の一部又は全部を変更する指示（以降、画面遷移指示という）が入力される。画面表示関連アプリケーション３Ａは、画面遷移指示に基づき、乗員の操作に応じた画像を生成する。画面表示関連システム３は、画面表示関連アプリケーション３Ａにより生成された画面構成情報を、異常検出装置４に出力する。画面表示関連システム３としては、例えば、車両制御システム３１、ナビゲーションシステム３２、オーディオシステム３３等が挙げられる。

　車両制御システム３１は、車両の走行を制御するためのシステムであって、メーターディスプレイ１１の画面表示に関するアプリケーションとして、車両制御用アプリケーション３１Ａを有している。車両制御用アプリケーション３１Ａは、異常検出装置４から画面遷移指示が入力されると、ドライバーの操作量に応じた車速表示の画像を生成する。車両制御システム３１は、車両制御用アプリケーション３１Ａにより生成された画面構成情報を異常検出装置４に出力する。

　ナビゲーションシステム３２は、乗員に経路案内するためのシステムであって、センターディスプレイ１２の画面表示に関するアプリケーションとして、ナビゲーション用アプリケーション３２Ａを有している。ナビゲーションシステム３２は、異常検出装置４から画面遷移指示が入力されると、乗員の操作内容に応じた画像を生成する。ナビゲーションシステム３２は、ナビゲーション用アプリケーション３２Ａにより生成された画面構成情報を異常検出装置４に出力する。

　オーディオシステム３３は、音楽等の音を出力するためのシステムであって、センターディスプレイ１２の画面表示に関するアプリケーションとして、オーディオ用アプリケーション３３Ａを有している。オーディオ用アプリケーション３３Ａは、異常検出装置４から画面遷移指示が入力されると、乗員の操作内容に応じた画像（オーディオ画面そのもの、オーディオソースの表示等）を生成する。オーディオシステム３３は、オーディオ用アプリケーション３３Ａにより生成された画面構成情報を異常検出装置４に出力する。

　異常検出装置４は、ハードウェア及びソフトウェアを備えたコンピュータにより構成され、プログラムを格納したＲＯＭ（Read Only Memory）と、このＲＯＭに格納されたプログラムを実行するＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）とから構成されている。なお、動作回路としては、ＣＰＵに代えて又はこれとともに、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。本実施形態では、プログラムがＲＯＭに予め記憶されている構成を例に挙げて説明するが、プログラムが記憶される場所は異常検出装置４の内部に限定されない。例えば、プログラムは、コンピュータが読み取ることができ、かつ、可搬型のコンピュータ読み取り可能な記録媒体（例えば、ディスクメディア、フラッシュメモリなど）に記憶されていてもよい。この場合、異常検出装置４は、コンピュータ読み取り可能な記録媒体からダウンロードしたプログラムを実行する。言い換えると、異常検出装置４が動作回路のみを備え、プログラムを外部からダウンロードする構成であってもよい。

　次に、図２～図５を用いて、図１に示す異常検出装置４の機能について説明する。図２は、図１に示す異常検出装置４の機能を説明するための図である。図２に示すように、異常検出装置４には、ユーザ操作検出部４１と、画面表示管理部４２と、画面出力部４３と、画面表示データ監視部４４と、画面表示フリーズ検出部４５と、回復処理部４６が含まれる。これらのブロックは、ＲＯＭに確立されたソフトウェアによって、後述する各機能を実現する。またこれらのブロックは、本発明に係る異常検出方法を実行する主体である「コントローラ」に含まれる。なお、本実施形態では、異常検出装置４が有する機能を、６つの機能ブロックとして分けたうえで、各機能ブロックの機能を説明しているが、異常検出装置４の機能は必ずしも６つのブロックで分ける必要はなく、５つ以下の機能ブロック、あるいは、７つ以上の機能ブロックで分けてもよい。

　ユーザ操作検出部４１の機能について説明する。ユーザ操作検出部４１は、乗員により操作装置２が操作された場合、乗員の操作を検出する。図２に示すように、ユーザ操作検出部４１は、操作データ取得部４１１と、操作監視部４１２を含む。操作データ取得部４１１は、操作装置２から、少なくとも乗員が操作した操作装置２の種別及び乗員の操作内容を含む操作データを取得する。操作監視部４１２は、操作データが取得されたことをトリガにして、乗員の操作内容を識別する。操作監視部４１２は、乗員の操作内容を含むユーザ操作データを、画面表示管理部４２に出力する。

　図３は、ユーザ操作検出部４１により実行される処理を示すフローチャートの一例である。ステップＳ１では、ユーザ操作検出部４１は、操作装置２から操作データを取得すると、乗員が操作装置２を操作したことを検知する。ステップＳ２では、ユーザ操作検出部４１は、ステップＳ１で取得した操作データから、乗員の操作内容に対応する入力値（入出力ポート値）を抽出する。また、このステップにおいて、ユーザ操作検出部４１は、操作データから操作装置２の種別を特定する。例えば、ユーザ操作検出部４１は、操作データに含まれ、操作装置２の種別を示す識別子を参照することで、乗員が操作した対象を特定する。

　ステップＳ３では、ユーザ操作検出部４１は、ステップＳ２で抽出した入力値から、乗員の操作内容を特定する。例えば、操作装置２の種別ごとに、入力値と操作内容の対応関係を示すマップが予め格納されている場合、ユーザ操作検出部４１は、ステップＳ２で特定した操作装置２の種別のマップを読み出し、入力値（入出力ポート値）に対応した乗員の操作内容を特定する。

　ステップＳ４では、ユーザ操作検出部４１は、ステップＳ３で特定した乗員の操作内容を含むユーザ操作データを、図２に示す画面表示管理部４２に出力する。ステップＳ４の処理が終了すると、ユーザ操作検出部４１は、図３に示すフローチャートの処理を終了させる。

　図２に戻り、画面表示管理部４２の機能について説明する。画面表示管理部４２は、画面表示関連アプリケーション３Ａとの間で情報の授受を行い、ディスプレイ１の画面表示の状態を管理する。図２に示すように、画面表示管理部４２は、アプリケーション管理部４２１と、画面表示データ生成部４２２を含む。アプリケーション管理部４２１は、操作装置２への乗員の操作に連動する画面表示関連アプリケーション３Ａを、対象アプリケーションとして特定する。またアプリケーション管理部４２１は、対象アプリケーションを有する画面表示関連システム３を、対象システムとして特定する。アプリケーション管理部４２１は、対象システムに乗員の操作内容（ユーザ操作データ）を出力して、対象システムに対象アプリケーションを実行させる。またアプリケーション管理部４２１には、ユーザ操作検出部４１から、ユーザ操作データが入力される。アプリケーション管理部４２１は、ユーザ操作データに基づき、乗員が操作装置２を操作したことに対して、ディスプレイ１の画面を遷移させるか否かを判定する。ディスプレイ１の画面表示を遷移させるか否かの判定結果としては、例えば、コンテキストＩＤが挙げられる。例えば、アプリケーション管理部４２１は、ドライバーがアクセルペダル２１を操作した場合、スピードメータの車速表示を変更する必要性、すなわち、メーターディスプレイ１１の画面表示を遷移させるか否かを判定する。また例えば、アプリケーション管理部４２１は、乗員が画面操作用ボタン２２を操作した場合、又は静電センサ２３により乗員のタッチ操作が検出された場合、ナビゲーション画面（現在地表示画面、地図表示画面など）を変更する必要性、すなわち、センターディスプレイ１２の画面表示を遷移させるか否かを判定する。また例えば、アプリケーション管理部４２１は、乗員が画面操作用ボタン２２を操作した場合、静電センサ２３により乗員のタッチ操作が検出された場合、又はドライバーがステアリングボタン２４を操作した場合、オーディオ画面を変更する必要性、すなわち、センターディスプレイ１２の画面表示を遷移させるか否かを判定する。アプリケーション管理部４２１は、画面表示を遷移させる必要がある判定結果の場合、画面キャプチャ指示を画面表示データ監視部４４に出力する。画面キャプチャ指示は、乗員が操作装置２を操作した時点で、ディスプレイ１が表示している画面表示データを取得して保持するための指示である。またアプリケーション管理部４２１は、画面キャプチャ指示の出力後、画面遷移指示を対象システムに出力する。

　画面表示データ生成部４２２には、対象システムから、画面遷移指示に対する応答として画面構成情報が入力される。画面表示データ生成部４２２は、入力された画面構成情報に基づき、ディスプレイ１に表示させるための画面表示データを生成する。画面表示データとしては、例えば、ＲＧＢ値等が挙げられる。画面表示データ生成部４２２は、操作装置２への乗員の操作に応じた画面表示データを生成する。

　またセンターディスプレイ１２の画面表示が複数の画像で構成される場合、画面表示データ生成部４２２は、複数の画像に対して結合処理をすることで、センターディスプレイ１２の画面全体を表す画面表示データを生成してもよい。例えば、センターディスプレイ１２の画面表示が、上から順に、「Ａ画像」、「Ｂ画像」、「Ｃ画像」で構成されていたとする。またＡ画像及びＣ画像は、乗員の操作とは無関係に固定れた画像、Ｂ画像は、乗員の操作に応じて変更する画像とする。この例の場合、画面表示データ生成部４２２は、対象システムからの画面構成情報に基づき、Ｂ画像に対応する画面表示データを生成する。そして、画面表示データ生成部４２２は、Ａ画像及びＣ画像に対応する画面表示データと、生成されたＢ画像に対応する画面表示データを結合する処理を実行して、センターディスプレイ１２の画面表示全体に対応した画面表示データを生成する。

　画面表示データ生成部４２２は、生成した画面表示データを画面出力部４３に出力するとともに、画面表示データを画面表示用バッファに格納する。また画面表示データ生成部４２２は、生成された画面表示データと、監視開始指示を画面表示データ監視部４４に出力する。

　図４は、画面表示管理部４２により実行される処理を示すフローチャートの一例である。ステップＳ１１では、画面表示管理部４２は、図３に示すステップＳ４でユーザ操作検出部４１から出力されたユーザ操作データを取得する。ステップＳ１２では、画面表示管理部４２は、ステップＳ１１で取得したユーザ操作データに基づき、乗員の操作に連動する画面表示関連アプリケーション３Ａを、対象アプリケーションとして特定する。またこのステップにおいて、画面表示管理部４２は、特定された対象アプリケーションを有する画面表示関連システム３を、対象システムとして特定する。ステップＳ１３では、画面表示管理部４２は、乗員の操作内容を含むユーザ操作データを、ステップＳ１２で特定した対象システムに出力する。

　ステップＳ１４では、画面表示管理部４２は、ステップＳ１１で取得したユーザ操作データに基づき、ディスプレイ１の画面を遷移させるか否かを判定する。判定結果がディスプレイ１の画面遷移が必要であることを示す場合、ステップＳ１５に進み、判定結果がディスプレイ１の画面遷移が不要であることを示す場合、ステップＳ２１に進む。

　ステップＳ１５では、画面表示管理部４２は、画面キャプチャ指示を図２に示す画面表示データ監視部４４に出力する。ステップＳ１６では、画面表示管理部４２は、画面遷移指示をステップＳ１２で特定した対象システムに出力する。ステップＳ１７では、画面表示管理部４２は、ステップＳ１６での出力先である対象システムからの入力があるまで待機する。画面表示管理部４２は、対象システムから画面構成情報が入力されると、画面構成情報が反映された画面表示データを生成する。ステップＳ１８では、画面表示管理部４２は、ステップＳ１７で生成した画面表示データを画面表示用バッファに保存する。

　ステップＳ１９では、画面表示管理部４２は、監視開始指示を図２に示す画面表示データ監視部４４に出力する。監視開始指示は、画面表示がステップＳ１７で生成された画面表示データによって遷移するか否かを判定する、判定処理の開始を示す指示である。また画面表示管理部４２は、ステップＳ１７で生成した画面表示データを、図２に示す画面出力部４３に出力する。

　ステップＳ２０では、画面表示管理部４２は、ステップＳ１４での判定結果を保持するために、画面遷移フラグを「１」に、また後述するフリーズカウントを「０」に設定する。画面遷移フラグは、操作装置２への乗員の操作によってディスプレイ１の画面遷移が必要か否かを示すフラグであって、「１」に設定された場合、画面遷移が必要なことを示し、「０」に設定された場合、画面遷移が不要なことを示す。フリーズカウントについては後述する。ステップＳ２０の処理が終了すると、画面表示管理部４２は、図４に示すフローチャートの処理を終了させる。

　ステップＳ１４で否定的な判定がされた場合、ステップＳ２１に進む。ステップＳ２１では、画面表示管理部４２は、画面遷移する必要がないため、前回生成済み（現在の表示している画像表示データ）を画像表示データとしてバッファに保存する。このステップは、ステップＳ１７及びステップＳ１８相当の処理となる。ステップＳ２２では、画面表示管理部４２は、ステップＳ２１でバッファに保存した画面表示データを、図２に示す画面出力部４３に出力する。ステップＳ２３では、画面表示管理部４２は、ステップＳ１４での判定結果を保持するために、画面遷移フラグを「０」に、またフリーズカウントを「０」に設定する。ステップＳ２３の処理が終了すると、画面表示管理部４２は、図４に示すフローチャートの処理を終了させる。

　図２に戻り、画面出力部４３の機能について説明する。画面出力部４３は、画面表示管理部４２から画面表示データが入力されると、入力された画面表示データをディスプレイ１に出力する。

　次に、画面表示データ監視部４４及び画面表示フリーズ検出部４５の機能について説明する。画面表示データ監視部４４は、乗員により操作装置２が操作され、乗員の操作に連動する画面表示関連アプリケーション３Ａ（対象アプリケーション）によって画面構成情報が生成された場合、当該画面構成情報に基づく画面表示データの監視を行う。図２に示すように、画面表示データ監視部４４は、対象領域抽出部４４１と、ＣＲＣ演算部４４２を含む。

　対象領域抽出部４４１は、ディスプレイ１の画面表示のうち、後述する画面表示フリーズ検出部４５がフリーズ状態であるか否かを判定する画面領域（フリーズ判定の対象領域ともいう）を、対象領域として抽出する。対象領域は、操作装置２への乗員の操作によって遷移する対象の画面領域である。また対象領域は、ディスプレイ１の画面表示全体の領域よりも小さい領域であればよく、対象領域の大きさ及び対象領域の形状は特に限定されない。後述するＣＲＣ演算部４４２は、対象領域の画面表示データに対してＣＲＣ演算処理を実行するので、対象領域は、ＣＲＣ演算部４４２による演算対象領域でもある。また後述する画面表示フリーズ検出部４５は、ディスプレイ１の画面表示がフリーズ状態か否かを判定するために、対象領域のＣＲＣデータを判定対象に用いる。

　対象領域抽出部４４１は、ディスプレイ１の画面表示から、段階的に対象領域を抽出してもよい。例えば、対象領域抽出部４４１は、ディスプレイ１の画面表示全体に対応する画面表示データから、乗員の操作に関わらず表示内容が不変な画面領域を特定し、ディスプレイ１の画面表示全体に対応する画面表示データから、特定された画面領域に対応する画面表示データを除く。次に対象領域抽出部４４１は、除かれた画面表示データから、画面表示としてはさらに一部の領域に対応する画面表示データを抽出する。なお、上述した対象領域の抽出方法は一例であって、対象領域の抽出方法を限定するものではない。

　ＣＲＣ演算部４４２は、対象領域に対応した画面表示データに対して、圧縮形式のライブラリを用いて、ＣＲＣ（Cyclic Redundancy Check）符号（ＣＲＣデータともいう）を演算する。ＣＲＣ演算部４４２は、演算したＣＲＣデータを、画面表示フリーズ検出部４５に出力する。なお、ＣＲＣデータの演算方法は、圧縮形式のライブラリを用いる方法以外であってもよく、ＣＲＣ演算部４４２には、本願出願時に知られたＣＲＣデータの演算方法を適用できる。

　画面表示フリーズ検出部４５の機能について説明する。画面表示フリーズ検出部４５は、画面表示データ、及び乗員により行われた画面表示に関する操作に基づき、乗員の操作によってディスプレイ１の画面表示が遷移したか否かを判定する。画面表示フリーズ検出部４５は、乗員が操作装置２を操作した時点から所定期間の間、ディスプレイ１の画面表示が遷移しない場合、ディスプレイ１の画面表示が乗員の操作に応答しないフリーズ状態と判定する。所定期間としては、秒単位の期間（例えば、５秒）が挙げられるが、画面表示のフリーズ状態と判定するための時間は５秒に限定されない。所定期間は、４秒以下であってもよいし、又は、６秒以上であってもよい。

　また画面表示フリーズ検出部４５は、画面表示管理部４２から画面表示データ監視部４４にキャプチャ指示が入力されると、画面表示が遷移したか否かの判定を開始する。具体的に、画面表示フリーズ検出部４５は、キャプチャ指示が画面表示データ監視部４４に入力されると、画面表示データ監視部４４に、乗員が操作装置２を操作した際にディスプレイ１が表示した画面表示データに対してＣＲＣデータ演算処理を実行させる。また画面表示フリーズ検出部４５は、監視開始指示が画面表示データ監視部４４に入力されると、画面表示管理部４２により画面表示用バッファに保存された画面表示データを画面表示データ監視部４４に出力する。そして、画面表示フリーズ検出部４５は、画面表示データ監視部４４に、出力した画面表示データに対してＣＲＣデータ演算処理を実行させる。画面表示用バッファに保存された画面表示データは、画面出力部４３によりディスプレイ１に出力された画面表示データのため、ＣＲＣ演算部４４２は、乗員が操作装置２を操作した後にディスプレイ１が表示した画面表示データに対してＣＲＣデータ演算処理を実行する。

　画面表示フリーズ検出部４５は、乗員が操作装置２を操作した際の画面表示データと、所定期間が経過した後の画面表示データとを比較することで、ディスプレイ１の画面表示が遷移したか否かを判定する。本実施形態では、画面表示フリーズ検出部４５は、乗員が操作装置２を操作した際の対象領域に対応した画面表示データと、所定期間が経過した後の対象領域に対応した画面表示データとを比較することで、画面表示が遷移したか否かを判定する。具体的に、本実施形態では、画面表示フリーズ検出部４５は、乗員が操作装置２を操作した際の対象領域のＣＲＣデータと、所定期間が経過した後の対象領域のＣＲＣデータとを比較することで、画面表示が遷移したか否かを判定する。画面表示フリーズ検出部４５は、比較結果としてＣＲＣデータの一致が得られた場合、ディスプレイ１の画面表示は遷移していないと判定し、比較結果としてＣＲＣの不一致が得られた場合、ディスプレイ１の画面表示は遷移したと判定する。画面表示フリーズ検出部４５は、ディスプレイ１の画面表示が遷移したか否かの判定結果を、回復処理部４６に出力する。

　図５は、画面表示データ監視部４４及び画面表示フリーズ検出部４５により実行される処理を示すフローチャートの一例である。ステップＳ３１では、画面表示データ監視部４４は、画面表示管理部４２から画面キャプチャ指示を取得したか否かを判定する。画面表示管理部４２から出力される画面キャプチャ指示は、図４のステップＳ１５で出力される画面キャプチャ指示である。肯定的な判定された場合、ステップＳ３２に進む。一方、否定的な判定がされた場合、画面表示データ監視部４４は、肯定的な判定がされるまでステップＳ３１で待機する。

　ステップＳ３１で肯定的な判定がされた場合、ステップＳ３２に進み、画面表示フリーズ検出部４５は、ディスプレイ１の画面表示が遷移したか否かの判定処理を開始する。ステップＳ３２では、画面表示フリーズ検出部４５は、ディスプレイ１が表示した画面表示データ及び演算指示を出力して、画面表示データ監視部４４に対象領域の抽出処理を実行させる。画面表示データ監視部４４は、ディスプレイ１の画面表示のうち、ディスプレイ１の画面表示がフリーズ状態か否かを判定する対象の画面領域を、対象領域として抽出する。例えば、画面表示データ監視部４４は、ディスプレイ１の画面表示全体に対応する画面表示データから、対象領域に対応する画面表示データを抽出する。

　ステップＳ３３では、画面表示データ監視部４４は、ステップＳ３２で抽出した画面表示データに対して、ＣＲＣデータを演算する。ステップＳ３３の処理が終了すると、画面表示データ監視部４４により演算されたＣＲＣデータは、後述するステップＳ３６での判定処理における比較元として、ＲＡＭ等の記憶装置に一時的に保存される。ステップＳ３４では、画面表示データ監視部４４は、画面表示管理部４２から監視開始指示を取得したか否かを判定する。画面表示管理部４２から出力される監視開始指示は、図４のステップＳ１９で出力される監視開始指示である。肯定的な判定された場合、ステップＳ３５に進む。一方、否定的な判定がされた場合、画面表示データ監視部４４は、肯定的な判定がされるまでステップＳ３４で待機する。

　ステップＳ３４で肯定的な判定がされた場合、ステップＳ３５に進む。ステップＳ３５では、画面表示フリーズ検出部４５は、演算指示を出力して、画面表示データ監視部４４に対象領域の抽出処理を実行させる。画面表示データ監視部４４は、図４のステップＳ１８で画面表示用バッファに保存された画面表示データに対して、対象領域の抽出処理を実行する。また画面表示データ監視部４４は、ステップＳ３２で抽出された対象領域に合わせて、ディスプレイ１の画面表示のうち、ディスプレイ１の画面表示がフリーズ状態か否かを判定する対象の画面領域を、対象領域として抽出する。ステップＳ３２で抽出された対象領域と、ステップＳ３５で抽出された対象領域は、ディスプレイ１の画面表示における位置、画面領域の大きさ及び形状は同じとなる。ステップＳ３６では、画面表示データ監視部４４は、ステップＳ３５で抽出した画面表示データに対して、ＣＲＣデータを演算する。

　ステップＳ３７では、画面表示フリーズ検出部４５は、ステップＳ３３で演算されたＣＲＣデータと、ステップＳ３６で演算されたＣＲＣデータを比較することで、ディスプレイ１の画面表示が遷移したか否かを判定する。ＣＲＣデータが一致の比較結果が得られた場合、画面表示が遷移しないとして、ステップＳ３８に進む。一方、ＣＲＣデータが不一致の比較結果が得られた場合、画面表示が遷移したとして、ステップＳ４３に進む。

　ステップＳ３７で画面表示が遷移しないと判定された場合、ステップＳ３８に進む。ステップＳ３８では、画面表示フリーズ検出部４５は、フリーズカウントをカウントアップさせる。ステップＳ３９では、画面表示フリーズ検出部４５は、フリーズカウントが５カウント以上であるか否かを判定する。フリーズカウントが５カウント未満の場合、ステップＳ３５に戻り、再び、画面表示データ監視部４４による対象領域抽出処理が実行され、その後、ステップＳ３６では、画面表示データ監視部４４によるＣＲＣデータ演算処理が実行される。そして、ステップＳ３７では、再び、画面表示フリーズ検出部４５による判定処理が実行され、画面表示が遷移しない場合、ステップＳ３８に進み、フリーズカウントがカウントアップされる。画面表示データ監視部４４及び画面表示フリーズ検出部４５は、ステップＳ３５～ステップＳ３９を１秒間の間に実行することで、ディスプレイ１の画面表示を１秒単位で監視できる。

　ステップＳ３９でフリーズカウントが５カウント以上と判定された場合、すなわち、少なくとも、乗員が操作装置２を操作した時点から５秒経過するまでに、ディスプレイ１の画面表示が遷移したと判定されない場合、ステップＳ４０に進む。

　ステップＳ４０では、画面表示フリーズ検出部４５は、乗員の操作装置２への操作に対してディスプレイ１の画面表示が応答しない状態として、ディスプレイ１の画面表示がフリーズ状態と判定する。ステップＳ４１では、画面表示フリーズ検出部４５は、画面表示のフリーズ状態を解消するために、回復処理指示を図２に示す回復処理部４６に出力する。ステップＳ４２では、画面表示フリーズ検出部４５は、ステップＳ３８の処理でカウントアップされたフリーズカウントを初期化する。ステップＳ４１の処理が終了すると、画面表示データ監視部４４及び画面表示フリーズ検出部４５は、図５に示すフローチャートの処理を終了させる。

　ステップＳ３７で画面表示が遷移したと判定された場合、ステップＳ４３に進む。ステップＳ４３では、画面表示フリーズ検出部４５は、図４のステップＳ２０で「１」に設定された画面遷移フラグを初期化する。ステップＳ４２では、画面表示フリーズ検出部４５は、フリーズカウントを初期化する。なお、ステップＳ４３を経てステップＳ４２に到達した場合、画面表示フリーズ検出部４５は、ステップＳ３７での判定結果（画面表示が遷移したという判定結果）を、図２に示す回復処理部４６に出力してもよい。またステップＳ４３において、画面表示フリーズ検出部４５は、乗員の操作に対してディスプレイ１の画面表示が応答したとして、ディスプレイ１の画面表示がフリーズ状態ではないと判定してもよい。また図５の例では、ステップＳ３２及びステップＳ３５で対象領域の抽出処理が行われているが、ステップＳ３５の処理を省略し、ステップＳ３６ではステップＳ３２の抽出結果を用いてＣＲＣデータを演算するフローチャートであってもよい。

　再び、図２に戻り、回復処理部４６の機能について説明する。回復処理部４６は、画面表示フリーズ検出部４５から回復処理指示が入力されると、アプリケーション管理部４２１により特定された対象アプリケーションを再起動するよう、再起動指示を対象システムに出力する。アプリケーションの再起動とは、起動中のアプリケーションが終了し、その後、アプリケーションが再び起動することである。対象システムでは、画面表示のフリーズ状態の原因とされる対象アプリケーションを再起動することにより、画面表示のフリーズ状態を解消するための復帰処理が実行される。

　以上のように、本実施形態に係る異常検出装置４は、ディスプレイ１に表示される画面表示の異常を検出する装置であって、ディスプレイ１が表示した画面表示データを監視する画面表示データ監視部４４と、画面表示データ、及び乗員により行われた画面表示に関する操作に基づき、乗員の操作によって画面表示が遷移したか否かを判定する画面表示フリーズ検出部４５を備えている。画面表示フリーズ検出部４５は、操作装置２への乗員の操作から所定期間の間、画面表示が遷移しない場合、画面表示が乗員の操作に応答しないフリーズ状態と判定する。

　システムの機能に異常が発生したか否かを判定する方法としては、例えば、従来から、ウォッチドッグタイマーによる異常検出方法が知られている。この異常検出方法では、システム内部で定期的に監視用の信号を発生させて、その信号に対する応答の有無に応じて異常検出を行う。しかしながら、システムの不具合の中には、監視用の信号に対する応答があり、ウォッチドッグタイマーを初期化したものの、システム内部での処理が進まないという種類の不具合もある。この種の不具合は、ウォッチドッグタイマーによる異常検出方法では検出できない。また、この種の不具合によって、ディスプレイ１の画面表示がフリーズ状態を引き起こす可能性もあり、ウォッチドッグタイマーによる異常検出方法は、画面表示のフリーズ状態を検出する方法としては好ましくない問題がある。これに対して、本実施形態に係る異常検出装置及び異常検出方法では、ディスプレイ１が表示した画面表示データそのものを、ディスプレイ１の異常検出の判定方法に用いることで、画面表示がユーザの操作に応答しないフリーズ状態を検出することができる。

　また本実施形態では、異常検出装置４は、乗員が操作可能な操作装置２から、乗員の操作に対応する操作データを取得する操作データ取得部４１１と、取得された操作データを監視する操作監視部４１２を備える。画面表示フリーズ検出部４５は、乗員の操作により画面表示の遷移が必要と判定された場合、画面表示が遷移したか否かの判定を開始する。これにより、画面表示が遷移したか否かの判定が不要な場面で、判定処理が開始されるのを抑制できるため、常時、画面表示が遷移したか否かを判定する場合に比べて、異常検出装置４の演算負荷を低減することができる。

　また本実施形態では、ディスプレイ１は、車両に搭載されており、操作装置２を操作するユーザは、車両の乗員である。これにより、画面表示のフリーズ状態が与える影響が大きい車載ディスプレイに対しても、画面表示のフリーズ状態を検出することができる。

　また本実施形態では、異常検出装置４は、乗員の操作に連動する画面表示関連アプリケーション３Ａを対象アプリケーションとして特定するアプリケーション管理部４２１と、画面表示がフリーズ状態と判定された場合、対象アプリケーションを再起動させる指示を出力する回復処理部４６を備える。これにより、対象システムでは、画面表示のフリーズ状態を解消するための復帰処理が実行され、画面表示のフリーズ状態の解消を図ることができる。また車両走行中の場面では、システムへの電力供給を遮断し、その後、電力供給を再開してシステムを起動させる処理、いわゆる、システムのリブート処理を実行することは困難とされている。このようなシステムのリブート処理ができない場面であっても、本実施形態に係る異常検出装置及び異常検出方法によれば、面表示のフリーズ状態の解消を図ることができる。

　また本実施形態では、画面表示フリーズ検出部４５は、乗員の操作が行われた際の画面表示データと、所定期間が経過した後の画面表示データとを比較することで、ディスプレイ１の画面表示が遷移したか否かを判定する。画面表示がフリーズ状態であるか否かを簡便に判定できるデータを用いるため、異常検出装置４の演算負荷を軽減することができる。

　また本実施形態では、異常検出装置４は、ディスプレイ１の画面表示のうち、乗員の操作により遷移する対象の画面領域を対象領域として抽出する対象領域抽出部４４１を備える。画面表示フリーズ検出部４５は、乗員の操作が行われた際の対象領域に対応した画面表示データと、所定期間が経過した後の対象領域に対応した画面表示データとを比較することで、画面表示が遷移したか否かを判定する。これにより、画面表示全体に対応した画面表示データで比較する場合に比べて、異常検出装置４の演算負荷を軽減することができる。

　また本実施形態では、ディスプレイ１は、車両のスピードメーターが表示されるメーターディスプレイ１１を含み、乗員の操作は、ドライバーによるアクセル操作を含む。ドライバーは、スピードメーターの表示よりも、運転操作に集中した状態でアクセル操作を行う。このように、ユーザの操作がディスプレイ１の表示を意識した操作でない場合であっても、画面表示のフリーズ状態を検出することができる。

　また本実施形態では、ディスプレイ１は、車両のナビゲーション画面が表示されるセンターディスプレイを含み、乗員の操作は、乗員がナビゲーション画面の表示を変更する操作を含む。ナビゲーション画面のように、車両の乗員に与える影響が大きい画面表示であっても、画面表示のフリーズ状態を検出することができる。

　≪第２実施形態≫
　次に、第２実施形態に係る異常検出装置について説明する。本実施形態に係る異常検出装置は、回復処理部５６（図示しない）の機能が第１実施形態に係る回復処理部４６の機能と異なる以外は、第１実施形態に係る異常検出装置４と同様の構成を有する。このため、第１実施形態に係る異常検出装置４と同様の構成については、図１～図５を用いて行った第１実施形態の説明を援用する。

　本実施形態に係る回復処理部５６の機能について説明する。本実施形態では、回復処理部５６は、画面表示のフリーズ状態から復帰させるための処理を段階的に実行する。まず第１段階として、回復処理部５６は、画面表示フリーズ検出部４５から回復処理指示が入力されると、アプリケーション管理部４２１により特定された対象アプリケーションを再起動するよう、再起動指示を対象システムに出力する。第１段階での処理内容は、第１実施形態に係る回復処理部４６が実行する処理内容と同じである。

　回復処理部５６からの再起動指示によって、対象システムでは対象アプリケーションの再起動が行われ、ディスプレイ１の画面表示が更新されると、回復処理部５６は、ディスプレイ１の画面表示がフリーズ状態を維持しているか否かを判定する。回復処理部５６は、画面表示のフリーズ状態が維持されていると判定した場合、第２段階として、対象アプリケーションに加えて、対象システムが有するその他のアプリケーションを再起動するよう、再起動指示を対象システムに出力する。

　回復処理部５６からの再起動指示によって、対象システムでは、対象アプリケーションを含む全てのアプリケーションの再起動が行われ、ディスプレイ１の画面表示が更新されると、回復処理部５６は、ディスプレイ１がホーム画面を表示するか否かを判定する。ホーム画面とは、ディスプレイ１が起動した後に最初に表示される画面である。回復処理部５６は、ディスプレイ１がホーム画面を表示しない場合、第３段階として、対象システムを再起動するよう、再起動指示を対象システムに出力する。

　図６は、回復処理部５６により実行される処理を示すフローチャートの一例である。ステップＳ５１では、回復処理部５６は、画面表示フリーズ検出部４５から回復処理指示を取得する。回復処理部５６が取得する回復処理指示は、図５のステップＳ４１で画面表示フリーズ検出部４５から出力された回復処理指示である。ステップＳ５２では、回復処理部５６は、対象アプリケーションの再起動指示を対象システムに出力する。対象アプリケーション及び対象システムは、それぞれ、図４のステップＳ１２で画面表示管理部４２により特定された対象アプリケーション及び対象システムである。

　ステップＳ５３では、回復処理部５６は、ステップＳ５２の処理が終了してから対象アプリケーションの再起動に要する再起動時間が経過した後、ディスプレイ１の画面表示がフリーズ状態を維持するか否かを判定する。例えば、回復処理部５６は、画面表示がフリーズ状態と判定された時点での画面表示データのＣＲＣデータと、対象アプリケーションの再起動後の画面表示データのＣＲＣデータを比較することで、画面表示がフリーズ状態を維持するか否かを判定する。回復処理部５６は、比較結果として一致の結果が得られた場合、ディスプレイ１の画面表示がフリーズ状態を維持していると判定し、比較結果として不一致の結果が得られた場合、ディスプレイ１の画面表示がフリーズ状態を維持していないと判定する。回復処理部５６により肯定的な判定がされた場合、ステップＳ５４に進み、否定的な判定がされた場合、回復処理部５６は、図６に示すフローチャートの処理を終了させる。なお、異常検出装置４の演算負荷軽減のために、ＣＲＣデータの比較処理は、第１実施形態と同様、対象領域のＣＲＣデータで比較する処理が好ましい。

　ステップＳ５４では、回復処理部５６は、対象システムが有する全てのアプリケーションの再起動指示を対象システムに出力する。ステップＳ５５では、回復処理部５６は、ステップＳ５４の処理が終了してから全てのアプリケーションの再起動に要する再起動時間が経過した後、ディスプレイ１にホーム画面が表示されているか否かを判定する。例えば、回復処理部５６は、ホーム画面の画面表示データのＣＲＣデータと、全てのアプリケーションの再起動後の画面表示データとを比較することで、ディスプレイ１にホーム画面が表示されているか否かを判定する。回復処理部５６は、比較結果として一致の結果が得られた場合、ディスプレイ１にホーム画面が表示されていると判定し、比較結果として不一致の結果が得られた場合、ディスプレイ１にホーム画面が表示されていないと判定する。回復処理部５６により否定的な判定がされた場合、ステップＳ５６に進み、肯定的な判定がされた場合、回復処理部５６は、図６に示すフローチャートの処理を終了させる。

　ステップＳ５６では、回復処理部５６は、対象システムの再起動指示を対象システムに出力する。ステップＳ５６での処理が終了すると、回復処理部５６は、図６に示すフローチャートの処理を終了させる。

　以上のように、本実施形態では、回復処理部５６は、対象アプリケーションの再起動後、画面表示のフリーズ状態が継続する場合、対象システムが有する全てのアプリケーションを再起動させる指示を対象システムに出力する。これにより、対象システムでは、画面表示のフリーズ状態を解消するための復帰処理が実行される。対象アプリケーションの再起動のみでは画面表示のフリーズ状態を解消できない場合であっても、画面表示のフリーズ状態の解消を図ることができる。また例えば、車両走行中の場面のように、画面表示関連システム３を再起動できない場面であっても、画面表示のフリーズ状態の解消を図ることができる。

　また本実施形態では、回復処理部５６は、対象システムが有する全てのアプリケーションの再起動後、ディスプレイ１にホーム画面が表示されない場合、対象システムを再起動させる指示を対象システムに出力する。これにより、対象システムでは、画面表示のフリーズ状態を解消するための復帰処理が実行され、画面表示のフリーズ状態の解消を図ることができる。

　なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

　例えば、上述した第１実施形態では、回復処理部４６は、画面表示がフリーズ状態と判定された場合、対象アプリケーションを再起動させる指示を出力する構成を例に挙げて説明したが、回復処理部４６は、再起動の対象から、特定のアプリケーションを除いてもよい。例えば、回復処理部４６は、再起動の対象から、図１に示すナビゲーション用アプリケーション３２Ａを除く処理を実行してもよい。ナビゲーション用アプリケーション３２Ａは、乗員に経路案内するだけでなく、自律走行な車両においては、ドライバーへの運転支援又は車両の自律走行に関与するアプリケーションでもある。車両の走行に関わるアプリケーションについては再起動の対象から除外することで、車両の走行への影響を抑制するという観点に基づく。また同様の観点に基づき、回復処理部４６は、再起動の対象から、図１に示す車両制御用アプリケーション３１Ａを除く処理を実行してもよい。上記の特定のアプリケーションを除外する処理は、第２実施形態に係る回復処理部５６にも適用することができる。

　また例えば、ナビゲーションシステム３２が、ナビゲーション用アプリケーション３２Ａとは異なり、車両のメーカー以外の第三者により生成されたナビゲーション用アプリケーションを有している場合、回復処理部４６は、上述した第１実施形態に係る回復処理とは異なる回復処理を実行してもよい。例えば、回復処理部４６は、画面表示がフリーズ状態と判定された場合、対象アプリケーションではなく、対象システムを再起動させる指示を対象システムに出力してもよい。サードパーティ製のナビゲーション用アプリケーションの場合、対象システムが有するアプリケーションとは独立して動作するため、対象システムを再起動しても、車両の走行への影響を抑制するという観点に基づく。対象アプリケーションの再起動よりも、画面表示のフリーズ状態を解消できる可能性を高めることができ、フリーズ状態解消の迅速化を図ることができる。

　また上述した実施形態では、メーターディスプレイ１１の画面表示を変更可能な操作装置２として、アクセルペダル２１を例に挙げて説明したが、操作装置２は、アクセルペダル２１に代えて、又はこれとともに、ブレーキペダルを含む構成であってもよい。また上述した実施形態では、ディスプレイ１、操作装置２、及び画面表示関連システム３として、図１に示す構成を例に挙げて説明したが、画面表示システム１００は、その他の構成を有していてもよい。例えば、画面表示システム１００は、ディスプレイ１として、センターディスプレイ１２よりも下側に設けられ、空調機の設定温度等、乗員による操作に応じた情報を表示する補助ディスプレイを含んでいてもよい。また画面表示システム１００は、補助ディスプレイの画面表示を変更可能な操作装置２として、補助ディスプレイの周囲に設けられ、空調機の設定温度を調整するための温度調節用ボタン又はダイヤルを含んでいてもよい。また画面表示システム１００は、画面表示関連システム３として、空調用アプリケーションを有する空調システムを含んでいてもよい。

　また上述した実施形態では、操作装置２として、図１に示す構成を例に挙げて説明したが、操作装置２は、その他の機器で構成されてもよい。例えば、操作装置２は、ドライバーやその他の乗員を撮像するＴＯＦ（Time Of Flight）カメラを含んでいてもよい。例えば、車両制御用アプリケーション３１Ａが、ＴＯＦカメラにより撮像された撮像画像に基づき、ドライバーの姿勢に応じた表示（例えば、警告灯等）をメーターディスプレイ１１に表示させる場合、本発明に係る異常検出装置及び異常検出方法を適用することができる。またディスプレイ１は、インストルメントパネルに予め埋め込まれたディスプレイに限定されず、ダッシュボードの上部に設けられたオンダッシュモニターであってもよい。またディスプレイ１は、前方座席のヘッドレストに設けられたヘッドレストタイプのディスプレイ、車両の天井に設けられたフリップタイプのディスプレイ等、後部座席の乗員用のディスプレイであってもよい。

１００…画面表示システム
　１…ディスプレイ
　２…操作装置
　３…画面表示関連システム
　　３１…車両制御システム
　　　３１Ａ…車両制御用アプリケーション
　　３２…ナビゲーションシステム
　　　３２Ａ…ナビゲーション用アプリケーション
　　３３…オーディオシステム
　　　３３Ａ…オーディオ用アプリケーション
　４…異常検出装置
　　４１…ユーザ操作検出部
　　　４１１…操作データ取得部
　　　４１２…操作監視部
　　４２…画面表示管理部
　　　４２１…アプリケーション管理部
　　　４２２…画面表示データ生成部
　　４３…画面出力部
　　４４…画面表示データ監視部
　　　４４１…対象領域抽出部
　　　４４２…ＣＲＣ演算部
　　４５…画面表示フリーズ検出部
　　４６…回復処理部

Claims (13)

1. 　ディスプレイに表示される画面表示の異常を検出する異常検出装置であって、
   　前記ディスプレイが表示した画面表示データを監視するデータ監視部と、
   　前記画面表示データ、及びユーザにより行われた前記画面表示に関するユーザ操作に基づき、前記ユーザ操作によって前記画面表示が遷移したか否かを判定する画面表示フリーズ検出部を備え、
   　前記画面表示フリーズ検出部は、前記ユーザ操作から所定期間の間、前記画面表示が遷移しない場合、前記画面表示が前記ユーザ操作に応答しないフリーズ状態と判定する異常検出装置。
2. 　請求項１に記載の異常検出装置であって、
   　前記ユーザが操作可能な操作装置から、前記ユーザの操作に対応する操作データを取得する操作データ取得部と、
   　前記操作データを監視する操作監視部を備え、
   　前記画面表示フリーズ検出部は、前記ユーザ操作により前記画面表示の遷移が必要と判定された場合、前記画面表示が遷移したか否かの判定を開始する異常検出装置。
3. 　請求項１又は２に記載の異常検出装置であって、
   　前記ディスプレイは、車両に搭載されており、
   　前記ユーザは、前記車両の乗員である異常検出装置。
4. 　請求項３に記載の異常検出装置であって、
   　前記ユーザ操作に連動するアプリケーションを対象アプリケーションとして特定するアプリケーション管理部と、
   　前記画面表示が前記フリーズ状態と判定された場合、前記対象アプリケーションを再起動させる指示を出力する回復処理部を備える異常検出装置。
5. 　請求項４に記載の異常検出装置であって、
   　前記アプリケーション管理部は、前記対象アプリケーションを有するシステムを対象システムとして特定し、
   　前記回復処理部は、前記対象アプリケーションの再起動後、前記画面表示の前記フリーズ状態が継続する場合、前記対象システムが有する全てのアプリケーションを再起動させる指示を出力する異常検出装置。
6. 　請求項４に記載の異常検出装置であって、
   　前記回復処理部は、再起動させる対象から、前記車両のナビゲーションのためのアプリケーションを除く処理を実行する異常検出装置。
7. 　請求項５に記載の異常検出装置であって、
   　前記回復処理部は、前記全てのアプリケーションの再起動後、前記ディスプレイにホーム画面が表示されない場合、前記対象システムを再起動させる指示を出力する異常検出装置。
8. 　請求項３に記載の異常検出装置であって、
   　前記ユーザ操作に連動するアプリケーションを対象アプリケーションとして特定し、前記対象アプリケーションを有するシステムを対象システムとして特定するアプリケーション管理部と、
   　前記フリーズ状態の前記画面表示と判定された場合、前記画面表示の前記フリーズ状態に対する回復処理を実行する回復処理部を備え、
   　前記車両のナビゲーションシステムは、前記車両のメーカー以外の第三者により生成された第三者アプリケーションを有し、
   　前記回復処理部は、前記回復処理として、前記対象システムを再起動させる指示を出力する異常検出装置。
9. 　請求項１～８の何れかに記載の異常検出装置であって、
   　前記画面表示フリーズ検出部は、前記ユーザ操作が行われた際の前記画面表示データと、前記所定期間が経過した後の前記画面表示データとを比較することで、前記画面表示が遷移したか否かを判定する異常検出装置。
10. 　請求項９に記載の異常検出装置であって、
    　前記画面表示のうち、前記ユーザ操作により遷移する対象の画面領域を対象領域として抽出する対象領域抽出部を備え、
    　前記画面表示フリーズ検出部は、前記ユーザ操作が行われた際の前記対象領域に対応した前記画面表示データと、前記所定期間が経過した後の前記対象領域に対応した前記画面表示データとを比較することで、前記画面表示が遷移したか否かを判定する異常検出装置。
11. 　請求項３～８の何れかに記載の異常検出装置であって、
    　前記ディスプレイは、前記車両の車速メーターが表示されるディスプレイを含み、
    　前記ユーザ操作は、前記車両のドライバーによるアクセル操作又はブレーキ操作を含む異常検出装置。
12. 　請求項３～８の何れかに記載の異常検出装置であって、
    　前記ディスプレイは、前記車両のナビゲーション画面が表示されるディスプレイを含み、
    　前記ユーザ操作は、前記車両の乗員が前記ナビゲーション画面の表示を変更する操作を含む異常検出装置。
13. 　コントローラが、ディスプレイに表示される画面表示の異常を検出する異常検出方法であって、
    　前記ディスプレイが表示した画面表示データを監視し、
    　前記画面表示データ、及びユーザにより行われた前記画面表示に関するユーザ操作に基づき、前記ユーザ操作により前記画面表示が遷移したか否かを判定し、
    　前記ユーザ操作から所定期間の間、前記画面表示が遷移しない場合、前記画面表示が前記ユーザ操作に応答しないフリーズ状態と判定する異常検出方法。

Images