JP4935589B2 - 状態判定装置およびプログラム - Google Patents

Description

本発明は、車両に搭載される状態判定装置およびプログラムに関する。

従来から、道路上に設置され、情報を発信する送信装置と車両に搭載された受信装置とを通信させ、送信装置が送信する交通情報などの情報を受信装置が受信して運転者に提供する技術が提案および実用されている。例えば、ＶＩＣＳは、車両感知器や監視カメラを用いて収集された広域の渋滞情報を運転者に提供する。

また、ＤＳＲＣを利用する情報提供の技術も提案されている。例えば、ＤＳＲＣ車載器の車載器ＩＤが許可ＩＤである場合に、局所的な道路の交通情報を運転者に提供する技術（特許文献１参照）や、所定のエリア内に車両が進入したことを検出して、既にエリア内に存在している車両に後方から車両が接近している情報を提供する技術（特許文献２参照）などがある。
特開２００６−２０２１９９号公報 特開２００１−２３０９８号公報

しかしながら、上述した技術を用いて提供された情報は、運転者による見落としや聞き漏れなどが考えられるため、運転者が情報を充分に利用できない虞がある。
ところで、車両に設置されたカメラで撮影した画像や、運転者の運転操作を記録するものとして、ドライブレコーダが従来から利用されている。このドライブレコーダを用いると、事故の発生時の状況を知ることができるが、運転者が視認すべき情報を視認しているか否かを確認することができなかった。

本発明は、このような問題に鑑みてなされたものであり、運転者の運転中の状態が適切であるか否かを判定することができる状態判定装置およびプログラムを提供することを目的とする。

上述した問題を解決するためになされた請求項１に記載の状態判定装置は、車両に搭載される装置であって、運転者が視認すべき対象物を特定すると共に、運転者の状態を検出する。そして、運転者の状態が、特定された対象物に応じて定められた状態であるか否かを判定するように構成されている。

このような状態判定装置は、視認すべき対象物が特定されたときに、運転者の状態が所定の状態であるか否かを判定する。よって、運転者が運転中に適切な動作を行っているか否かを判定することができる。

なお、上述した検出される運転者の状態とは、運転者の視線，アクセル操作状態，ブレーキ操作状態，ステアリング操作状態，ウィンカーやハザードなどのスイッチ操作状態などが該当し、上述した所定の状態とは、視線が適切な方向を向くこと，アクセル等の操作を適切に行うことなどが該当する。

また、上述した対象物とは、車両の運転中に運転者が視認すべきものであって、例えば、道路上の標識，信号，停止線などの道路標示物、車両に備えられた通信装置が車両外部から受信した情報に基づいて検出した渋滞車両，道路工事場所，事故車両などの障害物、またその受信した情報を表示した車両内部の表示機、車両の周囲を走行する他の車両や通行人などの移動物体などが該当する。

また、上述した対象物の特定とは、運転者により視認すべき状態となった対象物を特定することである。例えば、対象物が標識のように移動しないものであれば、車両からの距離が、走行速度や走行する道路に応じて定まる所定値以下となった場合に、視認すべき対象物として特定することが考えられる。また、対象物が車両内部に備えられた画像表示装置に表示された画像であれば、その画像が表示された際に、その画像を視認すべき対象物として特定することが考えられる。

上述した画像表示装置に表示された画像を対象物とする構成として、状態判定装置を次のように構成することが考えられる。
状態判定装置は、道路上に設置された道路情報を送信する１以上の送信装置が送信する道路情報に基づいて車載の画像表示装置が表示する画像を、運転者の視線が向いているか否かを判定する。

このように構成された状態判定装置は、道路に設置された送信装置から受信した道路情報を運転者が視認したか否かを判定することができる。
なお、上述した送信装置とは、ＶＩＣＳ送信装置，ＤＳＲＣ送信装置などが該当する。

また、上述した道路情報とは、上述した送信装置から送信される情報であって、渋滞情報，道路工事情報，事故情報，駐車場情報，制限速度情報，一時停止の位置を示す情報，信号の切替わるタイミングを示す情報，進行方向の道路や交差点を撮影した画像などが該当する。

また、上述した画像表示装置に表示される画像は、画像表示装置のディスプレイ全面に表示してもよく、ディスプレイの一部にのみ表示してもよい。そして、ディスプレイの一部に表示する場合には、その画像の表示された領域を運転者が視認したことを判定するとよい。

上述した道路情報のうち、渋滞情報，道路工事情報，事故情報などの障害物を示す障害物情報に基づいて特定される渋滞車両，道路工事場所，事故車両など、車両が走行する上で障害物となるものを対象物とするためには、状態判定装置を次のように構成することが考えられる。

状態判定装置は、道路上に設置された１以上の送信装置が送信する障害物の位置を示す障害物情報に基づく障害物を、運転者の視線が向いているか否かを判定する。

このように構成された状態判定装置は、送信装置から受信した障害物情報に基づいて特定した道路上の障害物を運転者が視認したか否かを判定することができる。
車両外部の道路標示物を対象物とするためには、状態判定装置を次のように構成することが考えられる。

状態判定装置は、道路上の標識，信号，停止線のうち少なくともいずれか一種類からなる道路標示物の位置を示す表示物情報と、車両の走行位置および走行方向と、に基づいて、車両から所定の位置関係であると特定された道路標示物を、運転者が視認したか否かを判定する。

このように構成された状態判定装置は、道路に設置された道路標示物を運転者が視認したか否かを判定することができる。
なお、上述した表示物情報とは、交差点や道路の情報を示す地図データと関連付けて、標識，信号，停止線などの道路標示物の位置を示す情報である。この表示物情報は、車両に搭載される記録装置に予めデータベースとして登録されているものであってもよく、また、表示物情報を送信する車両外部の送信装置から受信して取得するものであってもよい。

なお、上述した状態判定装置は、対象物を特定した際に運転者に報知を行うように構成してもよい。
このように構成された状態判定装置であれば、運転者に対象物を知らしめることができるので、確実に運転者に情報を認識させることができる。

なお、上述した報知とは、例えば、対象物を特定したことを音声でアナウンスすることや、車両内部に光源を設置し、フロントガラスに光を投射して運転者に到達させ、車両外部にある対象物の周囲を取り囲むような虚像表示を視認させることなどが考えられる。また、対象物が車両内部のディスプレイに表示される画像であるならば、その画像をポップアップすることや点滅させることなどが考えられる。

また、本発明の状態判定装置は、運転者が所定の状態となったか否かの判定結果を記憶手段に記憶しており、対象物が特定された際に運転者が所定の動作を行った割合を算出する構成としてもよい。

このように構成された状態判定装置であれば、対象物を視認すべきタイミングで運転者が適切な動作を行った割合を確認することができるので、運転者の安全運転の度合を算出することができる。

また、本発明の状態判定装置は、対象物を予め定められた複数のグループに分類し、そのグループごとに運転者が所定の状態となった割合を算出する構成とすることが考えられる。

このように構成された状態判定装置であれば、運転者がどのグループの対象物に対して適切な動作を行わないかを確認することができる。
なお、上述したグループの分類方法は特に限定されないが、より近い種類のものを一つのグループにするとよい。例えば、車両や人などの移動する対象物を一のグループ、標識や信号などの移動しないものを他のグループとする分類方法や、車両より上部にある標識や信号を一のグループ、地面近くにある停止線や道路指示などを他のグループとする分類方法などが考えられる。

また、本発明の状態判定装置は、報知の態様を、グループごとの所定の状態となった割合に応じて設定する構成としてもよい。
このように構成された状態判定装置であれば、適切な動作を行わない頻度に応じてグループごとに報知の態様を設定することができる。

また、上述した状態判定装置は、所定の状態となった割合が所定値以下であるグループの対象物を特定したことを報知するように構成してもよい。

このように構成された状態判定装置であれば、運転者が適切な動作を行わないことが多いグループの対象物が特定された際に適切な動作をするように促すことができる。
また、状態判定装置は、特定された対象物のグループに応じた基準期間を設定し、運転者の状態が所定の状態となったことを判定した場合に、所定の状態となったのが基準期間内であるか否かを判定するように構成してもよい。

特定された対象物には、運転者が迅速に所定の状態となるべき対象物と、迅速に所定の状態となる必要がない対象物と、が存在することがある。よって、このように構成された状態判定装置であれば、特定された対象物に応じた適切な期間内に所定の状態となったか否かを判定することができ、対象物に応じたより適切な判定結果を得ることができる。

また、請求項８に記載のプログラムは、請求項１から７のいずれかに記載の対象物特定手段，状態検出手段，および，判定手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラムである。

このようなプログラムにより制御されるコンピュータシステムは、請求項１から７のいずれかに記載の状態判定装置の一部を構成することができる。
なお、上述した各プログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して状態判定装置や、これを利用するユーザに提供されるものである。

以下に本発明の実施形態を図面と共に説明する。

（１）全体構成
本実施例における車載カメラシステム１は、車両２に搭載されて用いられるものであり、図１に示すように、車両２内外の各種情報を取得する車外周辺物体検知装置１００と、車両２におけるユーザ（運転者）の状態を検出する車内ユーザ監視装置２００と、ユーザに画像情報の表示と音声情報の出力を行うと共に、ユーザの操作インターフェースとしての機能を有する表示装置３００と、車外周辺物体検知装置１００により取得された情報および車内ユーザ監視装置２００により検出された情報を記録すると共に、後述する各種処理を行うドライブレコーダ４００と、から構成されており、それぞれ通信線を介して、後述する各種データを送受信可能に接続される。

車外周辺物体検知装置１００は、位置計測装置１１０，車載通信機１２０，レーダ１３０，車外撮影カメラ１４０，ナビゲーションシステム１５０，および，車載走行センサ管理器１６０を備える。

これらのうち、位置計測装置１１０は、ＧＰＳ受信機，ジャイロスコープ，車速センサなどからなり、これらのセンサを互いに補完しながら使用することで、車両２の走行位置および走行方向を検出する。

また、車載通信機１２０は、道路上に設置された複数の路側装置１２１と断続的に通信を行うものであって、路側装置１２１と通信を確立した際に道路情報を路側装置１２１から受信する。

なお、路側装置１２１は、上述した道路情報を車載通信機１２０に送信するものである。上述した道路情報とは、路側装置１２１が予め有している情報，路側装置１２１が近辺の道路状況から取得した情報，道路情報を統括するセンタ１２２から取得した道路情報などであって、渋滞情報，道路工事情報，事故情報，駐車場情報，制限速度情報，一時停止の位置を示す情報，信号の切替わるタイミングを示す情報，進行方向の道路や交差点を撮影した画像などが該当する。

また、レーダ１３０は、近距離の障害物を検出するための超音波，マイクロ波，レーザのいずれかを用いたレーダであって、車両２周辺の障害物を検知する。
また、車外撮影カメラ１４０は、車両２の前後左右の景色を撮影すると共に、車両２外部の音声を取得するマイクを備えるものであって、車両２に複数備えられている。この車外撮影カメラ１４０は、撮影した画像の画像データのノイズ除去、振動によるぶれ補正、撮影時の明るさに応じた画像処理などを行う画像データ処理回路や、バックグラウンドノイズを低減するための信号処理を行う音声データ処理回路が組み込まれている。これらの処理回路で処理された画像データと音声データは、ドライブレコーダ４００に送られる。

また、ナビゲーションシステム１５０は、交差点，道路，エリアコードの情報を示す地図データのデータベース１５１を有しており、データベース１５１に記憶された地図データで示される道路を示す画像であって、上述した位置計測装置１１０により計測された車両２の位置を基準とした画像を、ナビゲーションシステム１５０が有するディスプレイに表示する。また、上述したデータベース１５１は、標識，信号，停止線などの道路標示物の位置を示す表示物情報を、上述した地図データと関連付けて記憶している。

また、車載走行センサ管理器１６０は、車両２の走行状態およびユーザの運転操作を検出する図示しない複数のセンサが接続されており、後述するセンシング情報記録処理を実行する。このセンシング情報記録処理では、車載走行センサ管理器１６０に接続される複数のセンサから検出されたデータを一つのデータとした後述する転送用センサデータを外部に送信する。

車内ユーザ監視装置２００は、車内撮影カメラ２１０，ユーザ監視生体センサ２２０を備える。
これらのうち、車内撮影カメラ２１０は、ユーザの視線方向の検出に用いるユーザの顔画像を撮影すると共に、車両２内部の音声を取得するものであって、ユーザの顔面が確実に補足できる位置に設置されている。そして、ユーザの顔画像を示す画像データおよび音声データをドライブレコーダ４００に送信する。

また、ユーザ監視生体センサ２２０は、ユーザの体温・心拍数・血圧などの体調情報を、車両２のシートに備えられた各種センサを用いて検出し、ドライブレコーダ４００に送信する。

表示装置３００は、画像情報を表示する複数のディスプレイ３１０と、音声情報を出力するスピーカ３２０と、ユーザのリクエストを入力するタッチパネル３３０と、からなる。

上述したディスプレイ３１０およびスピーカ３２０は、後述するユーザリクエスト処理のＳ８１においてユーザによるリクエストが入力された際に、そのリクエストに応じた画像表示および音声出力を行う。さらに、車載通信機１２０が路側装置１２１から道路情報を受信した際に、その受信内容を表示する。

また、タッチパネル３３０は、光の透過性を有し、ディスプレイ３１０上に配置されてユーザからの操作を受け付ける。タッチパネル３３０を介してユーザに入力された情報は、ユーザ操作情報としてドライブレコーダ４００に送信される。

ドライブレコーダ４００は、車載カメラシステム１を統括制御する制御器４１０，各種データを記録する記録装置４２０，画像データと音声データを合成する図示しない画像合成回路，画像データの圧縮・伸張を行う図示しない画像圧縮・伸張回路，などから構成される。

このドライブレコーダ４００は、車外周辺物体検知装置１００が取得した情報に基づいて、車両２のユーザが視認すべき後述するオブジェクト（設置オブジェクト、通信オブジェクト、移動オブジェクト、表示オブジェクト）を特定すると共に、車内ユーザ監視装置２００により検出されたユーザの視線が、特定されたオブジェクトを向いているか否かを判定する。

上述した記録装置４２０には、ユーザがオブジェクトを視認したか否か判定の結果に加えて、車外周辺物体検知装置１００から受信した転送用センサデータおよび道路情報，車内ユーザ監視装置２００から受信した画像データ，音声データ，ユーザ操作情報，および体調情報が、予め設定された時間間隔でタイムスタンプが付けられた状態で記録される。

制御器４１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、およびこれらを構成する通信バスなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭおよびＲＡＭに記憶されたプログラムに基づいて、後述する各処理を実行する。

なお、画像合成回路は、画像データと音声データとを同期する際に用いられる。また、画像圧縮・伸張回路は、車外撮影カメラ１４０および車内撮影カメラ２１０から送信された画像データを圧縮して記録装置４２０に記憶するのに適したフォーマットに変換すると共に、ディスプレイ３１０に表示する際には圧縮した画像データを解凍して出力する。
（２）制御器４１０による処理
以下に、ドライブレコーダ４００の制御器４１０により実行される各種処理について説明する。
（２．１）メインフロー
以下に、メインフローの処理手順を、図２に基づいて説明する。このメインフローは、車両２が起動しているか否かに関わらず動作するドライブレコーダ４００により常時実行している。

このメインフローでは、まず、システム起動処理を行う（ステップ１、以降ステップをＳと記載する）。ここでは、ユーザが乗車したことを検出して、車載カメラシステム１全体を起動させる。このシステム起動処理について、詳しくは後述する。

システム起動処理が終了すると、次に、マルチモード処理を行う（Ｓ２）。ここでは、画像記録処理，走行記録処理，ユーザリクエスト処理，外部情報受信処理，停止受付処理，安全確認度判定処理を開始し、それらを並列的に処理する。上述した各処理について、詳しくは後述する。このマルチモード処理は、後述する停止受付処理のＳ１２１において、ユーザの降車が確認されたときに終了し、Ｓ３に移行する。

次に、システム停止処理を行う（Ｓ３）。ここでは、車載カメラシステム１における本処理に必要な機器以外を停止させる。このシステム停止処理について、詳しくは後述する。その後、処理がＳ１に戻る。
（２．２）システム起動処理
以下に、システム起動処理の処理手順を、図３に基づいて説明する。このシステム起動処理は、メインフローのＳ１にて実行される。

このシステム起動処理では、まず、ユーザが車両２に搭乗するまで待機する（Ｓ１１）。ここでは、車両２に搭載された各種センサ（ドア開閉センサ，超音波の近接センサ，焦電センサなど）および低消費電力ＣＣＤを使った図示しない監視カメラなどにより、ユーザの車両２への搭乗を検出する。なお、この時点では、車載カメラシステム１はユーザの車両２への搭乗を検出するために必要なドライブレコーダ４００，車載走行センサ管理器１６０，および各種センサのみ起動している。

次に、ユーザが車両２に搭乗したか否かを判定する（Ｓ１２）。ここでは、Ｓ１１にて検出された結果に基づき、ユーザが車両２に搭乗したか否かを判定する。ユーザが搭乗していなければ（Ｓ１２：ＮＯ）、処理がＳ１１に戻る。一方、ユーザが搭乗していれば（Ｓ１２：ＹＥＳ）、処理がＳ１３に移行する。

次に、車載カメラシステム１全体を起動する（Ｓ１３）。
次に、接続機器の動作診断を行う（Ｓ１４）。ここでは、車外周辺物体検知装置１００および車内ユーザ監視装置２００に接続された各機器およびセンサの動作が正常に行えるか否かを診断する。

次に、Ｓ１４における診断の結果を判定し（Ｓ１５）、いずれの機器およびセンサにも異常がなければ（Ｓ１５：ＹＥＳ）、処理がＳ１７に移行する。一方、異常がある機器またはセンサがあれば（Ｓ１５：ＮＯ）、異常箇所をディスプレイ３１０に表示し（Ｓ１６）、処理がＳ１７に移行する。

次に、表示装置３００の動作診断を行う（Ｓ１７）。ここでは、表示装置３００に接続された各機器の動作が正常に行えるか否かを診断する。
次に、Ｓ１７における診断の結果を判定し（Ｓ１８）、いずれの機器にも異常がなければ（Ｓ１８：ＹＥＳ）、処理がＳ２０に移行する。一方、異常がある機器があれば（Ｓ１８：ＮＯ）、異常箇所をディスプレイ３１０に表示し（Ｓ１９）、処理がＳ２０に移行する。

次に、ドライブレコーダ４００の動作診断を行う（Ｓ２０）。ここでは、車外撮影カメラ１４０，車内撮影カメラ２１０により撮影された画像が正常に記録されているか否かを診断する。

次に、Ｓ２０における診断の結果を判定し（Ｓ２１）、ドライブレコーダ４００に異常がなければ（Ｓ２１：ＹＥＳ）、処理がＳ２３に移行する。一方、ドライブレコーダ４００に異常があれば（Ｓ２１：ＮＯ）、ディスプレイ３１０に表示し（Ｓ２２）、処理がＳ２３に移行する。

次に、車載カメラシステム１の状態の総合判定を行う（Ｓ２３）。
次に、Ｓ２３における診断の結果を判定し（Ｓ２４）、車載カメラシステム１に異常が無ければ（Ｓ２４：ＹＥＳ）、異常が無いことをディスプレイ３１０に表示し、処理がＳ２６に移行する。一方、車載カメラシステム１に異常があれば（Ｓ２４：ＮＯ）、異常の程度に応じてディスプレイ３１０に走行注意表示や走行禁止表示を行い（Ｓ２５）、処理がＳ２６に移行する。

その後、マルチモード処理を開始し（Ｓ２６）、本処理を終了する。
（２．３）画像記録処理
以下に、画像記録処理の処理手順を、図４に基づいて説明する。この画像記録処理は、マルチモード処理の一つとしてメインフローのＳ２にて実行される。

この画像記録処理では、まず、撮影条件を判定する（Ｓ４１）。ここでは、走行している道路の種類，渋滞状況，車両２外部の明るさ等を車外周辺物体検知装置１００から受信したデータに基づいて判定する。

次に、アクティブ画像調査をする（Ｓ４２）。このアクティブ画像調査とは、車両２の前後左右を撮影する複数の車外撮影カメラ１４０が撮影する画像の中から、車両が走行する道路条件、走行状況、周囲の車両や歩行者の有無条件などに応じ、周辺状況を確実に認知するために優先的に撮影して記録する画像を選択する処理である。この処理を行うことで、車両２の条件に応じて事故が発生し易いと推測される方向を重点的に撮影し、事故が起こっても、その事故状況を確実に検証できる情報を記録しておくことができる。

車両２には、前後左右それぞれの方向に関し、各方向を撮影可能な車外撮影カメラ１４０が複数取り付けられている。そして、重点的に撮影すべき方向を撮影する車外撮影カメラ１４０の撮影した画像を優先的に記録する。例えば、記録装置４２０が１秒間に合計１２０フレームの記録が可能であるとして、前方を重点的に撮影して記録する場合には、前方を撮影する複数の車外撮影カメラ１４０（それぞれは最大３０フレーム／秒で撮影可能）が撮影した画像を１秒間に合計８０フレーム記録し、左右側方および後方は、１秒間にそれぞれ合計１０フレームづつ記録することが考えられる。

上記の例は、毎秒３０フレームで撮影するカメラを例示しているが、毎秒１０００フレーム程度の高速度撮影が可能なカメラでも、同様の優先度をつけた処理を行う。ただし、車両２が事故にならない限り、高速度撮影された画像は、記録装置４２０の記憶容量に応じて、画像バッファ（高速度撮影カメラの一時記憶手段）からフレームが間引かれて記録される。事故になったことが検知されたときは、事故検知タイミングの所定時間前からの画像をバッファから間引かずに取り出し、記憶手段に記憶できるようにする。記憶容量が十分では無い場合は、記録装置４２０の残り容量に応じて間引くタイミングを変える。

なお、本実施例では、Ｓ４１にて判定した撮影条件および車両２の走行条件に応じて、いずれの方向を撮影する車外撮影カメラ１４０の撮影した画像を優先的に記録すべきかを決定する。具体例を以下の（ａ）〜（ｅ）に示す。
（ａ）車両が道路を高速で直進走行している場合、直進道路と交差する道路の死角に存在する車両や歩行者との出会い頭事故の可能性がある。この場合は左側から出てくる車両や歩行者の認知が重要になる。また、分離帯が無い道路を走る場合、対向車線を走行する車両の、はみ出し等による正面衝突事故の可能性がある。よって、この場合は、車両２の進行方向に対して前方および左右前方を撮影可能な車外撮影カメラ１４０が、優先的に画像を撮影する。
（ｂ）車両が停止していたり、低速で走行（たとえば発進する場合）している場合や、後方の車両が自車の後方の設定距離以内に短時間で近づいた場合、後方車が追突する事故の可能性がある。その場合は、後方を撮影する車外撮影カメラ１４０が優先的に画像を撮影する。
（ｃ）車線変更を行う場合は、移動する方向の後方の車両と接触する可能性がある。よって、この場合は、車両２の車線変更による移動方向の後方を撮影可能な車外撮影カメラ１４０が、優先的に画像を撮影する。
（ｄ）車両が交差点を直進して通過する場合は、交差する道路から車両が飛び出して衝突する事故、対向車線の右折車両と衝突する事故、横断歩道を歩行する歩行者と衝突する事故などが考えられる。また、自車の前に車両が存在し前方車両が急ブレーキをかけた場合にその車両との車間距離が保てなくなり衝突する事故、後方車両に追突される事故など、全周囲に注意をする必要がある。この場合は、全ての方向に対してバランスよく撮影する。
（ｅ）交差点で信号停止している場合および信号停止から発進に変わる場合は、前方車両に衝突する事故および後方車両に追突される事故の危険がある。よって、車両２の進行方向に対して前方および後方を撮影可能な車外撮影カメラ１４０が、優先的に画像を撮影する。

このように、走行状況に応じて、事故が発生し易い位置の画像を優先的に記録する。
画像の記録について、上記は優先度に応じフレーム数を増減する方法を示したが、画像の圧縮処理が可能であれば、優先度の低い画像は圧縮率を高め、優先度の低い画像は圧縮率を高めないようにする方法も考えられる。

次に、画像処理条件を決定する（Ｓ４３）。ここでは、上記Ｓ４１にて判定された撮影条件に基づいて画像処理条件を設定する。例えば、車両２が走行中に振動する条件で撮影する場合には振動除去処理を設定し、撮影対象が遠い場合には画像の拡大処理を設定し、車両２外部が暗い場合には画像の明るさを調整する処理を設定するなど、車外撮影カメラ１４０に行わせるべき処理を設定する。

次に、画像データおよび音声データの受信を開始する（Ｓ４４）。ここでは、Ｓ４２にて決定された車外撮影カメラ１４０から画像データおよび音声データを受信する。上記Ｓ４３にて画像処理が行われた場合には、その処理が行われた後の画像データを受信する。

次に、上記Ｓ４４にて受信した画像データおよび音声データを圧縮処理し、動画圧縮ファイルおよび音声ファイルを作成して記録する（Ｓ４５）。なお、Ｓ４４にて画像処理を行わないデータも受信して動画圧縮ファイルを作成し、同時に記録してもよい。また、車外撮影カメラ１４０が撮影した画像をディスプレイ３１０に表示すべきリクエストが後述するユーザリクエスト処理においてなされた場合には、受信した画像データをディスプレイ３１０に送信する。

その後、後述する停止受付処理のＳ１２２にてマルチモード処理が終了するまで、記録を継続する。
（２．４）走行記録処理
以下に、走行記録処理の処理手順を、図５に基づいて説明する。この走行記録処理は、マルチモード処理の一つとしてメインフローのＳ２にて実行される。

この走行記録処理では、まず、後述するセンシング情報記録処理のＳ２２７において送信された転送用センサデータを受信する（Ｓ６１）。
次に、Ｓ６１にて受信した転送用センサデータにエリアコードのデータを付加する（Ｓ６２）。ここでいうエリアコードとは、地域を示すコードであって、ナビゲーションシステム１５０が有するデータベース１５１に予め記憶されている。ここでは車両２が走行している地域のコードが付加される。

次に、タッチパネル３３０から送信されたユーザ操作情報を付加する（Ｓ６３）。
次に、各ディスプレイ３１０の表示情報を付加する（Ｓ６４）。ここでは、画像表示を行っているディスプレイ３１０に予め定められたＩＤと、そのディスプレイ３１０に表示されている表示内容を示す予め定められたＩＤとを関連付けて付加する。

次に、データファイルを作成する（Ｓ６５）。ここでは、図６に示すようなデータ構成のデータファイルを作成する。
次に、データファイルを記録装置４２０に記録する（Ｓ６６）。その後、処理がＳ６１に戻る。
（２．５）ユーザリクエスト処理
以下に、ユーザリクエスト処理の処理手順を、図７に基づいて説明する。このユーザリクエスト処理は、マルチモード処理の一つとしてメインフローのＳ２にて実行される。

このユーザリクエスト処理では、まず、ユーザによるリクエストを受け付ける（Ｓ８１）。ここでは、タッチパネル３３０を監視し、ユーザによるタッチパネル３３０の操作を受信する。ディスプレイ３１０には、ユーザがリクエスト可能な表示内容が一覧として表示されており、ユーザはその中から１のリクエストを選択することができる。

なお、本実施例においては、車外撮影カメラ１４０が撮影する現在または過去の画像表示，後述する安全確認度判定処理にて判定される安全確認度の表示などをリクエストとして受け付けることができる。

ユーザによるリクエストが無い場合は（Ｓ８２：ＮＯ）、処理がＳ８１に戻り、タッチパネル３３０の監視を継続する。また、ユーザによるリクエストがある場合は（Ｓ８２：ＹＥＳ）、処理がＳ８３に移行する。

次に、リクエストにＩＤを付与する（Ｓ８３）。ここでいうＩＤとは、ユーザによるリクエストの内容に応じて予め定められたＩＤである。
次に、リクエストの内容がリアルタイム表示であるか否かを判定する（Ｓ８４）。ここでは、リクエストの内容がリアルタイム表示であるか否かをＩＤに基づいて判定する。なお、ここでいうリアルタイム表示とは、車外撮影カメラ１４０にて撮影した車両２外部の景色を示す画像，および，車載通信機１２０が受信した道路や交差点の画像を表示することなどが該当する。

このとき、Ｓ８１において受け付けたリクエストが、リアルタイム表示のリクエストであれば（Ｓ８５：ＮＯ）、車載通信機１２０が受信した画像データをディスプレイ３１０に表示させ（Ｓ８６）、処理がＳ９０に移行する。一方、リアルタイム表示のリクエストでなければ、ユーザがリクエストした内容を表示するために必要なデータを記録装置４２０から検索する（Ｓ８７）。

次に、Ｓ８７において検索が行われた結果、必要な情報が記録装置４２０に記録されていたか否かがチェックされる（Ｓ８８）。該当する記録情報があれば（Ｓ８８：Ｎ０）、処理がＳ９０に移行する。一方、該当する記録情報が無ければ、表示ができない旨をディスプレイ３１０にて通知し（Ｓ８９）、処理がＳ８１に戻る。

次に、ユーザによりリクエストデータの表示を開始する（Ｓ９０）。ここでは、リクエストに応じて適切な形にデータを修正してディスプレイ３１０に出力する。例えば、記録された画像を出力する際は、圧縮された画像データを解凍して出力する。その後、処理がＳ８１に戻る。

なお、リクエストされた表示内容のディスプレイ３１０への表示は、タッチパネル３３０により終了操作がなされるか、所定の時間が経過した場合に終了する。
その後、処理がＳ８１に戻る。
（２．６）外部情報受信処理
以下に、外部情報受信処理の処理手順を、図８に基づいて説明する。この車両外部情報処理は、マルチモード処理の一つとしてメインフローのＳ２にて実行される。

この外部情報受信処理では、まず、車両２外部から送信される道路情報が存在するか否かをチェックする（Ｓ１０１）。ここでは、車両２外部の電波の周波数を検出し、記録装置４２０が有する周波数データベースと照合することで道路情報の有無を判定する。道路情報が無ければ（Ｓ１０１：ＮＯ）、道路情報の検出を継続する。一方、道路情報が存在すれば（Ｓ１０１：ＹＥＳ）、受信処理を開始する（Ｓ１０２）。

次に、ディスプレイ３１０に受信した道路情報を出力して表示させる（Ｓ１０３）。ここでは、受信した道路情報が文字情報であれば、ディスプレイ３１０に文字を表示し、受信した道路情報が画像情報であれば、ディスプレイ３１０に画像を表示する。

次に、Ｓ８２にて受信した道路情報を記録する（Ｓ１０４）。ここでは、受信した道路情報に対し、道路情報の種類に応じて予め定められたＩＤと、現在の時刻と、受信した位置を示すエリアコードを付与して記録装置４２０に記録する。その後、処理がＳ１０１に戻る。
（２．７）停止受付処理
以下に、停止受付処理の処理手順を、図９に基づいて説明する。この停止受付処理は、マルチモード処理の一つとしてメインフローのＳ２にて実行される。

この停止受付処理では、まず、ユーザが降車したか否かをチェックする（Ｓ１２１）。ここでは、車両２に搭載された各種センサ（ドア開閉センサ，超音波の近接センサ，焦電センサなど）および低消費電力ＣＣＤを使った図示しない監視カメラなどにより、ユーザが降車したことをチェックする。ユーザが降車していなければ（Ｓ１２１：ＮＯ）、ユーザの降車チェックを継続する。一方、ユーザが降車していれば（Ｓ１２１：ＹＥＳ）、他のマルチモード処理を終了させ（Ｓ１２２）、本処理を終了して、処理がメインフローに戻る。
（２．８）安全確認度判定処理
以下に、安全確認度判定処理の処理手順を、図１０に基づいて説明する。この安全確認度判定処理は、マルチモード処理の一つとしてメインフローのＳ２にて実行される。

この安全確認度判定処理では、まず、ユーザの認識を行う（Ｓ１４１）。ここでは、公知の指紋認識や顔認識を用いたり、免許やＩＤカードを読み取る装置を用いて、それらの情報を読み取ることでユーザを認識する。また、新規のユーザは、タッチパネル３３０から新規にユーザの登録を行う。

次に、ユーザの視線追跡を開始する（Ｓ１４２）。ここでは、車内撮影カメラ２１０を用いてユーザの顔画像を撮影し、その顔画像に基づいてユーザの視線の方向を判定する。なお、ユーザの視線の方向を判定するより詳細な内容は、例えば、特開２００７−１４２７２４号公報に記載された技術を応用するとよい。

次に、オブジェクト検出処理を行う（Ｓ１４３）。ここでは、ユーザが視認すべき対象となる後述する各オブジェクトを検出する。そして、検出されたオブジェクト全てを所定の基準でグループに分類し、そのグループを示すグループＩＤと、その個体を示す個体ＩＤと、を付与する。また、各オブジェクトを視認する際に向けるべき視線の方向を決定する。このオブジェクト検出処理について、詳しくは後述する。

次に、オブジェクト検出処理の検出結果に基づいて、オブジェクト一覧リストを編集する（Ｓ１４４）。このリストは、図１１に示すように、記録装置４２０に作成されるデータテーブルであって、オブジェクトのグループＩＤおよび個体ＩＤを表示する項目，オブジェクト検出時刻項目，オブジェクト視認時刻項目，視認済みチェック項目，強調表示レベル項目，および視線位置情報項目からなるデータ群を複数登録可能なものである。

ここでは、オブジェクト検出処理にて新たに検出されたオブジェクトのＩＤと、そのオブジェクトに対応する視線位置情報と、を登録する。また、新たに登録されたＩＤの視認済みチェック項目には「０」を登録し、強調表示レベル項目には、後述するＳ１５０の処理において算出され、記録装置４２０に記憶された後述する強調表示レベルの値を登録する。強調表示レベルの値が記憶されていない場合は「０」を登録する。

次に、検出されたオブジェクトに応じた報知を行う（Ｓ１４５）。
ここでは、車両２外部にあるオブジェクトに対しては、音声の出力と共に、車両２内部に設置される図示しない光源から光を投射してフロントガラスに反射させ、オブジェクトの存在を示す虚像の表示をユーザに視認させる。例えば、オブジェクトが存在するという文字情報をフロントガラスに投射してもよいし、ユーザが視認できる虚像の位置がオブジェクトと重なるように光を投射してもよい。

また、車両２内部のディスプレイ３１０に表示される画像をオブジェクトとする場合には、その表示される画像をポップアップしたり、画像の周囲を点滅させたりする。
なお、このＳ１４５における報知は、強調表示レベルの値に応じて報知を行う時間の長さや表示の色合いなどが変化する。

次に、オブジェクトのグループごとに基準期間を設定する（Ｓ１４６）。ここでいう基準期間とは、走行している道路や走行状態などに基づいて、所定の計算式からオブジェクトのグループごとに算出される期間である。例えば、後述する車両や人を示す移動オブジェクトは、車両２の速度が速くなるほど基準期間が短くなる。なお、基準期間は、オブジェクトのグループごとに予め定められた期間であってもよい。

次に、視線追跡判定を行う（Ｓ１４７）。ここでは、まず、最後にＳ１４７の処理を行ってからこの新たなＳ１４７が開始されるまで（このＳ１４７が最初の場合は、Ｓ１４２からこのＳ１４７まで）に、所定時間（例えば、０．１ｓ）以上ユーザが視線を停滞した方向を判定する。次に、視認済みチェック項目が「０」のＩＤに対し、リストにおいてそのＩＤの登録されたデータ群の視線位置情報項目の記載と比較し、そのＩＤのオブジェクトを視認したか否かを判定する。また、視線が停滞した時間をオブジェクト視認時刻項目に記録し、オブジェクト検出時刻項目と比較して、各ＩＤが上述した基準期間以内に視認したか否かを判定する。

そして、上述した基準期間以内に視認されたオブジェクトに対しては、視認済みチェック項目に「２」を登録し、基準期間以降に視認されたオブジェクトに対しては、視認済みチェック項目に「１」を登録する。また、このＳ１４７における視線追跡にて視認されなかったＩＤについては、視認済みチェック項目を「０」から変更しない。

次に、オブジェクト一覧リスト編集を行う（Ｓ１４８）。ここでは、直前のＳ１４３のオブジェクト検出処理にて検出されなかった（つまり、視認すべき状態でなくなった）オブジェクトのＩＤに対応する視認済みチェック項目に登録された値を、記録装置４２０の所定の記憶領域にグループごと定められた領域に分類して登録する。その後、そのオブジェクトに対応するデータ群を削除する。

次に、所定時間経過したか否かが判定される（Ｓ１４９）。所定の時間（例えば、５ｍｉｎ）経過していなければ（Ｓ１４９：ＮＯ）、処理がＳ１４３に戻る。一方、所定の時間経過している場合は（Ｓ１４９：ＹＥＳ）、処理がＳ１５０に移行する。

次に、安全確認度の評価を行う（Ｓ１５０）。ここでは、上述した所定の記憶領域に登録された各グループの視認済みチェック項目の値において、グループごとに「０」の割合および値の平均値を算出し、その値に基づいて安全確認度を評価する。また、評価された値を、強調表示レベル項目に登録する。

本実施例では、「０」が５０％以上であれば、安全確認度を５に設定し、そのグループに対応するＩＤのデータ群における強調表示レベル項目に「５」を登録する。同様に、「０」が３０％以上５０％未満であれば「４」を登録する。また、「０」が１０％以上３０％未満の場合、値の平均値が１未満であれば「３」を登録し、値の平均値が１以上であれば「２」を登録する。また、「０」が１０％未満の場合は、値の平均値が１．５未満であれば「１」を登録し、値の平均値が１．５以上であれば「０」を登録する。

次に、各グループの評価結果を、記録装置４２０に記録する（Ｓ１５１）。その後、処理がＳ１４３に戻る。この評価結果に応じて、Ｓ１４５における報知の態様が変化する。
（２．９）オブジェクト検出処理
以下に、オブジェクト処理の処理手順を、図１２に基づいて説明する。このオブジェクト検出処理は、安全確認度判定処理のＳ１４３にて実行される。

このオブジェクト検出処理では、まず、車両の走行状態を検出する（Ｓ１６１）。ここでは、車両２の走行位置と走行方向を位置計測装置１１０を用いて計測する。
次に、設置オブジェクトを検出する（Ｓ１６２）。ここでいう設置オブジェクトとは、標識，信号，停止線などが該当する。ここでは、まず、標識，信号，停止線などの道路標示物の位置を示す表示物情報をデータベース１５１から読み出す。次に、読み出した表示物情報に基づいて、車両２の進行方向前方であって、車両２から所定の距離以内に存在する設置オブジェクトを検出する。そして、検出された設置オブジェクトの位置と、車両２の走行位置および走行方向とから、設置オブジェクトそれぞれに対して車両２のユーザが視認すべき方向を視線位置情報として決定する。

次に、通信オブジェクトを検出する（Ｓ１６３）。ここでいう通信オブジェクトとは、渋滞の開始する位置の車両，道路工事場所，事故車両，道路の損壊位置などの車両２が走行する上で障害物となるものが該当する。ここでは、路側装置１２１から受信した道路情報の中から、通信オブジェクトの位置を示す障害物情報を抽出する。次に、通信オブジェクトの位置を、データベース１５１に示される地図データ上の位置と関連付けて特定する。そして、特定された通信オブジェクトの位置と、車両２の走行位置および走行方向とから、通信オブジェクトそれぞれに対して車両２のユーザが視認すべき方向を視線位置情報として決定する。

次に、移動オブジェクトを検出する（Ｓ１６４）。ここでいう移動オブジェクトとは、通行人，外部の車両などが該当し、車外撮影カメラ１４０により撮影された画像に基づいて検出する。画像からこれら移動オブジェクトを検出する具体的な方法は、公知であるのでここでは割愛する。検出された移動オブジェクトの位置を、データベース１５１に示される地図データ上の位置と関連付けて特定する。そして、特定された移動オブジェクトの位置と、車両２の走行位置および走行方向とから、移動オブジェクトそれぞれに対して車両２のユーザが視認すべき方向を視線位置情報として決定する。

次に、表示オブジェクトを検出する（Ｓ１６５）。ここでは、路側装置１２１から受信した道路情報に基づく画像および文字情報が表示されているディスプレイ３１０を、車両２のユーザから見た方向を視線位置情報として決定する。

次に、Ｓ１６２〜Ｓ１６５にて検出された各オブジェクトにＩＤを付与する（Ｓ１６６）。このＩＤは、上述した設置オブジェクト，通信オブジェクト，移動オブジェクト，表示オブジェクトのいずれのグループであるかを示すグループＩＤと、その個体を示す個別ＩＤとから構成される。

その後、処理が安全確認度判定処理に戻る。
（２．１０）システム停止処理
以下に、システム停止処理の処理手順を、図１３に基づいて説明する。この停止受付処理は、メインフローのＳ３にて実行される。

このシステム停止処理では、まず、直前のＳ２にて記録装置４２０に記録されたデータのタイトル一覧に、記録を開始した時刻と記録を終了した時刻の情報を付与したタイトルリストを作成する（Ｓ１８１）。

次に、Ｓ１８１にて作成したタイトルリストを、図示しない情報統轄センタに送信する（Ｓ１８２）。その後、本処理を終了し、処理がメインフローに戻る。
（３）車載走行センサ管理器によるセンシング情報記録処理
以下に、車載走行センサ管理器１６０により実行されるセンシング情報記録処理について図１４に基づいて説明する。このセンシング情報記録処理は、車載走行センサ管理器１６０が起動している状態において常に実行される。

このセンシング情報記録処理では、まず、車載走行センサ管理器１６０に接続される全てのセンサの出力データを受信する（Ｓ２０１）。
次に、Ｓ２０１にて受信したデータにデータ種別コードを付加する（Ｓ２０２）。ここでは、受信したデータそれぞれがどのセンサから出力されたデータであるか判別できるように、センサの種別を示すデータ種別コードを付加する。

次に、接続されるセンサのデータが全て揃ったか否かを判定する（Ｓ２０３）。全て揃った場合は（Ｓ２０３：ＹＥＳ）、処理がＳ２０５に移行する。一方、全て揃わない場合は（Ｓ２０３：ＮＯ）、揃っていないセンサにデータ出力依頼を行い（Ｓ２０４）、処理がＳ２０５に移行する。

次に、Ｓ２０１が実行されたタイミングからの経過時間が、所定時間となるまで待機する（Ｓ２０５）。ここでは、車外撮影カメラ１４０が画像を撮影する時間間隔の１０倍の時間待機する。

次に、転送用センサデータを生成する（Ｓ２０６）。ここでは、Ｓ２０１にて受信した複数のデータを一つのデータにまとめ、車載走行センサ管理器１６０外部に送信すべき形（パケットなど）に生成した転送用センサデータを生成する。

次に、転送用センサデータを外部に転送する（Ｓ２０７）。その後、処理がＳ２０１に戻る。
（４）効果
このように構成された車載カメラシステム１であれば、視認すべき対象物となるオブジェクトが特定されたときに、ユーザがオブジェクトを視認しているか否かを判定することができるので、ユーザが運転中に視認すべきオブジェクトを適切に視認しているか否かを判定することができる。

また、本実施例の車載カメラシステム１は、ユーザがオブジェクトを視認したか否かの判定結果を、設置オブジェクト、通信オブジェクト、移動オブジェクト、表示オブジェクト、の４つのグループに分類して記録装置４２０に記録しており、オブジェクトが特定された際にユーザが視認した割合を、上述した４つのグループごとに判定することができる。

また、本実施例の車載カメラシステム１は、上述したオブジェクトを特定した際にユーザに報知を行う。よって、ユーザが各オブジェクトを見落とすことを抑制でき、確実に情報を認識させることができる。

また、本実施例の車載カメラシステム１は、オブジェクトのグループごとに、視認した割合と、オブジェクトを特定してから基準期間内に視認した割合と、を記録する。そして、視認した割合の低いグループや、視認するまでの期間が適切でないグループのオブジェクトに対して上述した報知を行うので、そのようなグループのオブジェクトに対して視認を促進することができるとともに、ユーザがどのグループのオブジェクトを見落とし易く視認が遅いかをユーザ自身に認知させることができる。

さらに、上述した報知は、グループごとの視認した割合や適切な期間で視認した割合に応じてその態様が変更される。よって、見落としが頻発するグループのオブジェクトに対しては充分に強調された報知を行い、見落しが少しあるグループのオブジェクトに対しては簡単な報知とすることができるため、ユーザによる見落しの抑制を低減できるとともに、必要以上に強調された報知を行うことでユーザが不快に感じることを防止できる。

また、本実施例の車載カメラシステム１は、起動を停止する際に、記録装置４２０に記録されたデータのタイトル一覧に、記録を開始した時刻と記録を終了した時刻の情報を付与したタイトルリストを作成して情報統轄センタに送信する。よって、情報統轄センタにて車両２がどのようなデータを保持しているかを知ることができる。このことから、車載カメラシステム１が事故などで使用できない場合でも、記録装置４２０に記録されたデータの内容を知ることができる。また、車両２がどの時刻にどこを撮影していたかを知ることができるので、他の用途（例えば、他の車両の事故発生状況などを知る用途）に容易に転用できる。
（５）対応関係
以上説明した実施形態において、車載カメラシステム１が、本発明における状態判定装置であり、車内ユーザ監視装置２００が、本発明における状態検出手段であり、設置オブジェクト、通信オブジェクト、移動オブジェクト、表示オブジェクト、の各オブジェクトが、本発明における視認すべき対象物であり、記録装置４２０が、本発明における記憶手段である。

また、Ｓ１４３の処理が、本発明における対象物特定手段であり、Ｓ１４７の処理が、本発明における判定手段であり、Ｓ１４５の処理が、本発明における報知手段であり、Ｓ１５０の処理が、本発明における割合算出手段であり、Ｓ１４６の処理が、本発明における期間設定手段である。
（６）変形例
以上、本発明の実施例１について説明したが、本発明は、上記各実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、本実施例のＳ１５０において、視認済みチェック項目の値における「０」の割合と平均値に基づいて強調表示レベルを設定する構成を例示したが、その割合と平均値のしきい値は上述したものに限られない。

また、本実施例では、車内ユーザ監視装置２００がユーザの体調を検出しているので、ユーザの体調が異常であるときには、運転を停止すべき案内を表示することとしてもよい。

また、本実施例では、表示物情報がデータベース１５１に記憶されている構成を例示したが、表示物情報は、路側装置１２１から受信して取得するものであってもよい。
また、本実施例では、オブジェクトを、設置オブジェクト、通信オブジェクト、移動オブジェクト、表示オブジェクト、の４つのグループに分類する構成を例示した。しかし、分類する方法は上述したものに限定されない。例えば、オブジェクトが車両２の進行方向に対して左右のいずれに存在するかにより分類してもよいし、ユーザの目の高さを基準として上下のいずれに存在するかにより分類してもよい。

また、本実施例では、レーダ１３０が車両２外部の障害物を検出しているので、車両２の運転を行っていない場合であって、レーダ１３０が周辺の障害物を検出したタイミングで、車外撮影カメラ１４０の撮影を行い、記録装置４２０に記録することとしてもよい。

また、本実施例では、安全運転の評価に応じて強調表示レベルを変更する構成を例示したが、ユーザの年齢，視力，聴力に応じて強調表示レベルを変更する構成としてもよい。

（１）全体構成
実施例２における車載カメラシステム１は、基本的に実施例１と同じ構成であるが、実施例１における安全確認度判定処理に替えて、以下に説明する安全確認度判定処理が実行される。
（２）安全確認度判定処理
以下に、実施例２における安全確認度判定処理の処理手順を、図１５に基づいて説明する。この安全確認度判定処理は、マルチモード処理の一つとしてメインフローのＳ２にて実行される。

この安全確認度判定処理では、まず、オブジェクト検出処理を行う（Ｓ２２１）。ここでは、実施例１のオブジェクト検出処理と同様の処理を行うが、検出するオブジェクトは車両の停止線の位置のみである。

次に、車両２の模範的な車両２の動作を示す値である模範動作値を決定する（Ｓ２２２）。ここでは、車両速度、制動開始位置，制動加速度，および静止位置を、予め定められた基準により決定する。本実施例では、車両速度をＡ１ｋｍ／ｈ，制動開始位置を停止線からＡ２ｍ手前の地点，減速加速度Ａ３ｍ／ｓ²，静止位置を停止線から０ｍの地点と定める。

次に、車両２の実際の動作を示す値である実測動作値を測定する（Ｓ２２３）。
次に、Ｓ２２２において決定された模範動作値と、Ｓ２２３において測定された実測動作値との比較に基づいて評価値を算出する（Ｓ２２４）。

Ｓ２２３において測定された実測動作値が、車両速度をＢ１ｋｍ／ｈ，制動開始位置を停止線からＢ２ｍ手前の地点，減速加速度Ｂ３ｍ／ｓ²，静止位置を停止線からＢ４ｍの地点であるとすると、車両速度，制動開始位置，制動加速度，静止位置に関する評価値を、それぞれＣ１，Ｃ２，Ｃ３，Ｃ４としたときに、以下の計算式にて算出する。

Ｃ１＝１００−（Ｂ１−Ａ１）／Ａ１×１００
Ｃ２＝１００−（Ａ２−Ｂ２）
Ｃ３＝１００−（Ｂ３−Ａ３）／Ａ３×１００
Ｃ４＝１００−Ｂ４×１０
次に、Ｓ２２４にて算出した評価値を記録装置４２０に記録する（Ｓ２２５）。記録装置４２０は、評価値ごとに分類して複数記録可能に構成されており、Ｓ２２４にて評価値を算出するごとにそれぞれ１つづつ値を記録する。

次に、Ｓ２２５にて評価値が記録された回数をチェックする（Ｓ２２６）。所定回数（例えば、１０回）以上評価していなければ（Ｓ２２６：ＮＯ）、処理がＳ２２１に戻る。一方、所定回数以上評価していれば（Ｓ２２６：ＹＥＳ）、処理がＳ２２７に移行する。

次に、記録装置４２０に記録された評価値に基づいて、安全確認度を評価する（Ｓ２２７）。具体的には、以下の表１に示す評価値と運転傾向の関係から、ユーザの運転傾向を判定し、安全確認度として記録装置４２０に記録する。

次に、上述した運転傾向に基づいて必要な報知を行う（Ｓ２２８）。具体的には、運転傾向として評価値が小さいものに対し、その旨をディスプレイ３１０に表示する。例えば、速度超過があると判定された場合には、「速度超過傾向があります」と表示する。

その後、処理がＳ２２１に戻る。
（３）効果
このように構成された車載カメラシステム１であれば、視認すべき対象物となる停止位置を示す停止線が特定されたときに、ユーザが適切な車両２の操作を実行したか否かを判定することができる。また、ユーザが適切な操作を実行していないと判定された操作に関して、その旨をディスプレイ３１０に表示させることができるので、ユーザは自分の運転操作における危険な点を知ることができる。
（４）対応関係
以上説明した実施形態において、車載走行センサ管理器１６０が、本発明における状態検出手段であり、オブジェクト検出処理により検出された停止線が、本発明における視認すべき対象物である。

また、Ｓ２２１の処理が、本発明における対象物特定手段であり、Ｓ２２４の処理が、本発明における判定手段であり、Ｓ２２８の処理が、本発明における報知手段である。
（５）変形例
以上、本発明の実施例２について説明したが、本発明は、上記各実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、本実施例では、停止線に対して車両２を停止させる操作に関する運転評価を行ったが、それ以外の操作を運転評価の対象としてもよい。例えば、ユーザが車両２を交差点で左折させる操作に関して、ユーザの視線が交差点の左右を確認するタイミング、制動加速度、ウインカーのタイミング、左折時の対向車線へのはみ出し量などを測定して模範値と比較し、評価する構成などが考えられる。

また、本実施例のＳ２２７においては、表１の関係に従って運転傾向を評価したが、それ以外の基準により運転傾向を評価してもよい。例えば、実施例１と同様にユーザの視線方向とオブジェクトを検出し、ユーザがオブジェクトを認識してから操作を開始するまでの時間を測定し、その時間の大小により運転評価を行ってもよい。また、操作が完了するまでのユーザの視線を測定し、ユーザの視線が模範的であるか否か（例えば、早めに目視をやめてしまわないか、など）を判定して運転評価を行ってもよい。

本発明の車載カメラシステムを示すブロック図 メインフローの処理手順を示すフローチャート システム起動処理の処理手順を示すフローチャート 画像記録処理の処理手順を示すフローチャート 走行記録処理の処理手順を示すフローチャート データファイルのデータ構成を示す図 ユーザリクエスト処理の処理手順を示すフローチャート 外部情報受信処理の処理手順を示すフローチャート 停止受付処理の処理手順を示すフローチャート 安全確認度判定処理の処理手順を示すフローチャート オブジェクト一覧リストを示す図 オブジェクト検出処理の処理手順を示すフローチャート システム停止処理の処理手順を示すフローチャート センシング情報記録処理の処理手順を示すフローチャート 安全確認度判定処理の処理手順を示すフローチャート

符号の説明

１…車載カメラシステム、２…車両、１００…車外周辺物体検知装置、１１０…位置計測装置、１２０…車載通信機、１２１…路側装置、１２２…センタ、１３０…レーダ、１４０…車外撮影カメラ、１５０…ナビゲーションシステム、１５１…データベース、１６０…車載走行センサ管理器、２００…車内ユーザ監視装置、２１０…車内撮影カメラ、２２０…ユーザ監視生体センサ、３００…表示装置、３１０…ディスプレイ、３２０…スピーカ、３３０…タッチパネル、４００…ドライブレコーダ、４１０…制御器、４２０…記録装置

Claims (8)

1. 車両に搭載される状態判定装置であって、
   前記車両の運転者が視認すべき対象物を特定する対象物特定手段と、
   前記車両の運転者の状態を検出する状態検出手段と、
   前記状態検出手段により検出された運転者の状態が、前記対象物特定手段により特定された前記対象物に応じた所定の状態であるか否かを判定する判定手段と、を備え、
   前記車両は、運転者に画像を表示する画像表示装置を備えており、
   前記対象物特定手段は、道路上に設置される１以上の送信装置が送信する道路情報に基づいて前記画像表示装置により表示される画像を、前記視認すべき対象物として特定するものであり、
   前記状態検出手段が検出する運転者の状態とは、運転者の視線の向きであり、
   前記対象物に応じた所定の状態とは、前記運転者の視線が前記対象物特定手段により特定された画像を向いている状態であり、
   さらに、
   前記判定手段による判定の結果を記憶する記憶手段と、
   前記記憶手段に記憶された１以上の前記判定手段による判定の結果に基づいて、前記対象物特定手段により前記対象物が特定された際に運転者が前記所定の状態となった割合を算出する割合算出手段と、を備え、
   前記割合算出手段は、前記対象物特定手段により特定された前記対象物を、予め定められた複数のグループに分類して、該グループごとに運転者が前記所定の状態となった割合を算出する
   ことを特徴とする状態判定装置。
2. 車両に搭載される状態判定装置であって、
   前記車両の運転者が視認すべき対象物を特定する対象物特定手段と、
   前記車両の運転者の状態を検出する状態検出手段と、
   前記状態検出手段により検出された運転者の状態が、前記対象物特定手段により特定された前記対象物に応じた所定の状態であるか否かを判定する判定手段と、を備え、
   前記対象物特定手段は、道路上に設置される１以上の送信装置が送信する障害物の位置を示す障害物情報に基づいて、前記障害物を前記視認すべき対象物として特定するものであり、
   前記状態検出手段が検出する運転者の状態とは、運転者の視線の向きであり、
   前記対象物に応じた所定の状態とは、前記運転者の視線が前記対象物特定手段により特定された前記障害物を向いている状態であり、
   さらに、
   前記判定手段による判定の結果を記憶する記憶手段と、
   前記記憶手段に記憶された１以上の前記判定手段による判定の結果に基づいて、前記対象物特定手段により前記対象物が特定された際に運転者が前記所定の状態となった割合を算出する割合算出手段と、を備え、
   前記割合算出手段は、前記対象物特定手段により特定された前記対象物を、予め定められた複数のグループに分類して、該グループごとに運転者が前記所定の状態となった割合を算出する
   ことを特徴とする状態判定装置。
3. 車両に搭載される状態判定装置であって、
   前記車両の運転者が視認すべき対象物を特定する対象物特定手段と、
   前記車両の運転者の状態を検出する状態検出手段と、
   前記状態検出手段により検出された運転者の状態が、前記対象物特定手段により特定された前記対象物に応じた所定の状態であるか否かを判定する判定手段と、を備え、
   前記対象物特定手段は、道路上の標識，信号，停止線のうち少なくともいずれか一種類からなる道路標示物の位置を示す表示物情報と、前記車両に搭載された位置検出装置により検出された前記車両の走行位置および走行方向と、に基づいて、前記車両から所定の位置関係であると判断された道路標示物を、前記視認すべき対象物として特定するものであり、
   前記状態検出手段が検出する運転者の状態とは、運転者の視線の向きであり、
   前記対象物に応じた所定の状態とは、前記運転者の視線が前記対象物特定手段により特定された道路標示物を向いている状態であり、
   さらに、
   前記判定手段による判定の結果を記憶する記憶手段と、
   前記記憶手段に記憶された１以上の前記判定手段による判定の結果に基づいて、前記対象物特定手段により前記対象物が特定された際に運転者が前記所定の状態となった割合を算出する割合算出手段と、を備え、
   前記割合算出手段は、前記対象物特定手段により特定された前記対象物を、予め定められた複数のグループに分類して、該グループごとに運転者が前記所定の状態となった割合を算出する
   ことを特徴とする状態判定装置。
4. 前記対象物特定手段が前記対象物を特定したことを運転者に報知する報知手段を備える
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の状態判定装置。
5. 前記報知手段は、前記報知の態様を前記グループごとに前記割合に応じて設定する
   ことを特徴とする請求項４に記載の状態判定装置。
6. 前記報知手段は、前記割合算出手段により算出された前記割合が所定値以下のグループの前記対象物を前記対象物特定手段が特定した際に、前記報知を行う
   ことを特徴とする請求項５に記載の状態判定装置。
7. 前記対象物特定手段により特定された前記対象物それぞれに対し、当該対象物のグループに応じた基準期間を設定する期間設定手段を備え、
   前記判定手段は、運転者の状態が前記所定の状態となったことを判定した際には、前記所定の状態となったのが前記基準期間内であるか否かを判定する
   ことを特徴とする請求項１から請求項６のいずれかに記載の状態判定装置。
8. 請求項１から７のいずれかに記載の対象物特定手段，状態検出手段，および，判定手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラム。