JP7460279B2

JP7460279B2 - 監視装置

Info

Publication number: JP7460279B2
Application number: JP2020118462A
Authority: JP
Inventors: 萌音勇; 慶太丹野
Original assignee: Alps Electric Co Ltd; Alps Alpine Co Ltd
Current assignee: Alps Alpine Co Ltd
Priority date: 2020-07-09
Filing date: 2020-07-09
Publication date: 2024-04-02
Anticipated expiration: 2040-07-09
Also published as: JP2022015543A

Description

本発明は、監視装置に関し、特に、ヒアラブルデバイスを用いた監視装置に関する。

ユーザーの頭部に装着されたセンサにより検知されたデータと学習データの行動特徴量とを比較して、ユーザーの行動を推定する頭部ウエアラブルデバイスが特許文献１に開示されている。頭部ウエアラブルデバイスは、図１に示すように、表示部２ａ、２ｂ、イヤホンスピーカ３ａ、３ｂ、撮像レンズ４ａ、マイク５ａ、５ｂ、重力加速度センサ６ａ、ジャイロセンサ６ｂ、振動部７を備えた眼鏡型のヘッドアップディスプレイである。このような頭部ウエアラブルデバイスを用いて、「人と話している」、「食事をしている」、「居眠りをしている」等の行動が推定される。

国際公開ＷＯ２０１５／０６８４４０号公報

自動車の安全運転への要求が高まっており、その中でドライバーのよそ見や眠気を検知することが重要であると考えられている。このため、ドライバーを監視するための監視システム（ＤＭＳ：Driver Monitoring System）が車室内に展開されつつある。ＤＭＳは、主にカメラを使用してドライバーをモニタリングするため、ドライバーにとっては、常に見られている、監視されている、といった不快を感じることがある。また、ドライバーの行動を検知するためには、デプスカメラやステレオカメラが必要になるが、これらのカメラは高価であり、導入のハードルが高いという課題もある。さらに監視用カメラを車室内に常設することを前提とすると、車室内の環境は過酷であるため、それに対応したスペックがカメラに求められ、これもコスト増の一因となる。

本発明は、このような従来の課題を解決し、デプスカメラやステレオカメラを用いることなくユーザーの動きを監視することが可能な監視装置を提供することを目的とする。

本発明に係る監視装置は、ユーザーの左右の耳の位置またはその近傍に装着され、３軸加速度センサ、３軸ジャイロセンサおよび３軸地磁気センサをそれぞれ含む左右のイヤホンモジュールと、前記左右のイヤホンモジュールの複数のセンサからの検出結果に基づきユーザーの動きを監視する監視手段とを有する。

ある実施態様では、前記イヤホンモジュールは、ヒアラブルデバイスまたはヒアラブルデバイスの一部である。ある実施態様では、前記監視手段は、ドライバーの動きを監視し、ハンドルが正面であるときのドライバーの初期姿勢を登録し、当該初期姿勢に基づきユーザーの特定の行動または姿勢を検出する。ある実施態様では、監視装置はさらに、前記ジャイロセンサをキャリブレーションする手段を含み、前記キャリブレーションする手段は、ドライバーが前記初期姿勢にあるとき時前記ジャイロセンサをリセットする。ある実施態様では、前記特定の行動または姿勢は、ドライバーの居眠り、首傾げまたはよそ見である。ある実施態様では、監視装置はさらに、前記監視手段の監視結果に基づき警告を出力する出力手段を含む。

本発明によれば、左右のイヤホンモジュールに含まれる各種３軸センサの検出結果に基づきユーザーの動きを監視するようにしたので、ユーザーの特定の行動または姿勢を精度良く検出することができる。さらに、デプスカメラやステレオカメラを必要としないので、監視装置の低コスト化を図ることができる。

従来の頭部ウエアラブルデバイスを示す図である。本発明の実施例に係るヒアラブルデバイスを用いたヒアラブル監視装置の構成を示すブロック図である。本実施例に係るヒアラブル監視装置により検出可能なドライバーの行動を例示する図である。図３に示すドライバーの行動または姿勢を検出したときの各センサの検出波形を例示する図である。本発明の実施例に係るヒアラブル監視装置の初期設定および監視動作を説明するフローチャートである。本発明の実施例に係るヒアラブル監視装置の初期設定および監視動作を説明するフローチャートである。本発明の実施例に係るヒアラブル監視装置のキャリブレーション方法を説明する図である。本発明の実施例によるキャリブレーションの具体例を説明する図である。本発明の実施例に係るヒアラブル監視装置のキャリブレーション動作を説明するフローチャートである。本発明の実施例の他の変形例を示す図である。

本発明の監視装置は、ヒアラブルデバイスを利用してユーザーの動きを監視する。ヒアラブルデバイスは、耳またはその近傍に装着可能なデバイスであり、例えば、音声を聴くことができるイヤホン、ヘッドフォン、ヘッドセット、あるいは図１に示すような眼鏡タイプの頭部ウエアラブルデバイスである。本発明の監視装置は、ある実施態様では、車両のドライバーの動きを監視し、ドライバーの特定の行動または姿勢（例えば、居眠り、よそ見、スマホ操作、頷き、首傾げ等）を検出し、検出内容に応じた警告等を行う。

次に、本発明の実施例について図面を参照して詳細に説明する。図２（Ａ）は、本発明の実施例に係るヒアラブル監視装置の構成を示すブロック図である。ヒアラブル監視装置１００は、ヒアラブルデバイスを用いた監視装置であり、ここでは、ヒアラブルデバイスは、ドライバーの左右の耳に装着可能なワイヤレスタイプのイヤホンまたはヘッドセットである。

ヒアラブル監視装置１００は、左イヤホンモジュール１１０Ｌ、右イヤホンモジュール１１０Ｒ、制御部１２０、通信部１３０、および入力部１４０とを含んで構成される。ヒアラブル監視装置１００は、図示しないバッテリーからの電力を用いて動作する。

左イヤホンモジュール１１０Ｌは、図２（Ｂ）に示すように、ＸＹＺ方向の加速度を検出する３軸加速度センサ１５０Ｌ、ＸＹＺ方向の角速度を検出する３軸ジャイロセンサ１６０Ｌ、ＸＹＺ方向の方位を検出する３軸地磁気センサ１７０Ｌ、音声信号を可聴音に変換して出力する音声出力部１８０Ｌを含む。右イヤホンモジュール１１０Ｒも同様に、ＸＹＺ方向の加速度を検出する３軸加速度センサ１５０Ｒ、ＸＹＺ方向の角速度を検出する３軸ジャイロセンサ１６０Ｒ、ＸＹＺ方向の方位を検出する３軸地磁気センサ１７０Ｒ、音声信号を可聴音に変換して出力する音声出力部１８０Ｒとを含む。

制御部１２０は、ヒアラブル監視装置１００の全体の動作を制御する。具体的には、制御部１２０は、ヒアラブルデバイスの通常の機能を実施するための音声信号の信号処理や通信制御に加えて、本実施例では、ドライバーの動きを監視し、ドライバーの特定の行動または姿勢の検出等を行う。制御部１２０は、ハードウエアおよび／またはソフトウエアを用いて構成され、例えば、ＲＯＭ／ＲＡＭ等を含むマイクロコンピュータ、マイクロプロセッサ、信号処理プロセッサ、メモリ等を含み、さらにＲＯＭ／ＲＡＭ等に記憶されたプログラム等を含む。制御部１２０および通信部１３０は、左イヤホンモジュール１１０Ｌおよび／または右イヤホンモジュール１１０Ｌ内に内蔵されてもよいし、あるいはこれらとは個のハウジングまたは筐体に内蔵され、左右のイヤホンモジュール１１０Ｌ／１１０Ｒに有線または無線で接続されるようにしてもよい。

通信部１３０は、外部機器との間で無線または有線によるデータ通信を可能にする。通信部１３０は、例えば、ブルートゥースやＷｉ－Ｆｉなどに代表される近距離無線モジュールを含む。ヒアラブル監視装置１００は、通信部１３０を介して、例えば、車載装置２００、スマートフォン２１０、車両状態システム２２０などに接続することができる。車載装置２００は、例えば、ナビゲーション機能、オーディオ・ビデオ再生機能、テレビ・ラジオ放送受信機能などを備えた電子装置である。車両状態システム２２０は、車両の走行に関する車両情報（例えば、ハンドル舵角、速度など）を提供することができる。

ある態様では、ヒアラブル監視装置１００は、通信部１３０を介して車載装置２００やスマートフォン２１０で再生されたオーディオ信号を受信し、受信したオーディオ信号の音声が左右のイヤホンモジュール１１０Ｌ／１１０Ｒの音声出力部１７０Ｌ、１７０Ｒから出力される。入力部１４０は、ユーザーからの入力を受け取り、例えば、音声出力部１８０Ｌ、１８０Ｒから出力される音声のボリュームを調整するための入力を受け取る。

ヒアラブルデバイスは、左右のイヤホンモジュール１１０Ｌ／１１０Ｒに、独立の３軸加速度センサ１５０Ｌ／１５０Ｒ、３軸ジャイロセンサ１６０Ｌ／１６０Ｒ、３軸地磁気センサ１７０Ｌ／１７０Ｒを２基備える。このため、ヒアラブルデバイスの装着状態を継続する限り、左右の位置関係がほぼ一定であるため、左右の２基の９軸センサの連動した動作によりドライバーの頭の向きや傾きを正確に検出することが可能である。

図３は、本実施例のヒアラブル監視装置１００によって検出されるドライバーの典型的な行動または姿勢を例示している。図３（Ａ）は、ドライバーＤがヒアラブル監視装置１００を頭部または耳近傍に装着した初期状態を示している。初期状態では、座席に着座中のドライバーＤの自然な顔の向き（正面を向いているときの姿勢）が記憶される。

図３（Ｅ）は、ドライバーＤの行動または姿勢を検出するときに用いるロール(Roll)角、ピッチ(Pitch)角、ヨー(Yaw)角を表している。ロール角はドライバーＤの前後の軸の回りの回転角、ピッチ角は左右の軸の回りの回転角、ヨー角は上下の軸の回りの回転角である。

図３（Ｂ）に示すように、ドライバーＤのロール角やピッチ角に大きな変化があれば、頷きや首の傾げを検出することができる。頷きや首の傾げは、眠いときのコックリ動作と近似するものであり、それ故、居眠りと判定することができる。

図３（Ｃ）に示すように、ドライバーＤのピッチ角に大きな変化があれば、頷きを検出することができる。頷きは、スマートフォンの操作等に近似するものであり、運転中の不適切な動きと判定することができる。

図３（Ｄ）に示すように、ドライバーＤのヨー角に大きな変化があれば、顔の向きを検出することができる。ヨー角が大きく変化し、その状態が一定時間継続した場合（一定時間、ヨー角が変化しない場合）には、顔は進行方向を見ていないよそ見と判定することができる。

図４は、ドライバーＤが頷き、首傾げ、よそ見の行動をしたときの各３軸センサの出力波形を例示している。３軸センサのＸ軸は、図３（Ｅ）のドライバーＤの前後の軸、Ｙ軸は左右の軸、Ｚ軸はドライバーＤの上下の軸にそれぞれ対応する。

初期状態では、加速度センサ、ジャイロセンサ、地磁気センサの出力波形は概ね平坦であり変化がない。ドライバーＤが頷いたとき、加速度センサは、頷く方向、つまりＺ軸に大きく変化する加速度を検出し、地磁気センサは、加速度センサとは逆方向にＺ軸の方位の変化を検出する。また、ジャイロセンサは、Ｙ軸に大きく変化する角速度、つまりピッチ角の大きな変化を検出する。地磁気センサは、頷く方向、つまりＺ軸に大きく変化する方位を検出する。

ドライバーＤが首を傾げたとき、加速度センサは、傾げた方向、つまりＹ軸に大きく変化する加速度を検出する。ジャイロセンサは、Ｚ軸に大きく変化する角速度、つまりロール角の大きな変化を検出する。地磁気センサは、首傾げの方向、つまりＹ軸に大きく変化する方位を検出する。

ドライバーＤがよそ見をしたとき、加速度センサは、よそ見をする方向、つまりＺ軸の加速度の大きな変化を検出する。また、ジャイロセンサは、加速度センサと同じタイミングでＸ軸に大きく変化する角速度、つまりヨー角の大きな変化を検出する。地磁気センサは、よそ見の方向に変化する方位を検出する。

なお、図４に示す波形は、左右のイヤホンモジュール１１０Ｌ／１１０Ｒの一方イヤホンモジュールの３軸センサの出力波形を例示しているが、左右のイヤホンモジュール１１０Ｌ／１１０Ｒのそれぞれの３軸センサの出力波形は、互いに相関関係を表す。制御部１２０は、左右のイヤホンモジュール１１０Ｌ、１１０Ｒのそれぞれのセンサの出力波形を利用することで、より正確にドライバーの動きまたは姿勢を検出することが可能になる。

制御部１２０は、左右のイヤホンモジュール１１０Ｌ／１１０Ｒの加速度センサ１５０Ｌ／１５０Ｒ、３軸ジャイロセンサ１６０Ｌ／１６０Ｒ、３軸地磁気センサ１７０Ｌ／１７０Ｒの検出結果（出力波形）を受け取り、これに基づきドライバーＤの動きを監視し、その間にドライバーＤの特定の行動または姿勢（例えば、居眠り、スマホ操作、頷き、首傾げ、よそ見など）を検出する。制御部１２０は、ドライバーＤの居眠り、スマホ操作、よそ見等を検出した場合には、検出内容に応じた警告を発する。例えば、制御部１２０は、左右のイヤホンモジュール１１０Ｌ／１１０Ｒの音声出力部１８０Ｌ／１８０ＲからドライバーＤに警報を出力したり、あるいは通信部１３０を介して車載装置２００から警告を出力させる。車載装置２００は、例えば、車載スピーカから注意喚起の音声を出力したり、あるいは振動部材を介してドライバーＤを覚醒させる。

次に、ヒアラブル監視装置１００の初期状態の設定方法および監視動作について図５Ａ、図５Ｂのフローを参照して説明する。制御部１２０は、ヒアラブルデバイスによる監視を行うとき、予め用意されたプログラムを実行することで初期状態の設定を実施する。制御部１２０は、車両のＡＣＣ電源がオンされると（Ｓ１００）、通信部１３０を介して車両状態システム２２０から車両情報を取得し、当該車両情報に基づきアクセルが踏まれたか否かを判定し（Ｓ１１０）、アクセルが踏まれた場合、ハンドルが正面であるか否かを判定する（Ｓ１２０）。制御部１２０は、ハンドルが正面であれば、このときのドライバーの姿勢を初期状態と判定し、ドライバーＤの顔の正面位置を決定し、顔の正面位置をメモリ等に登録する（Ｓ１４０）。ハンドルが曲がっている場合には（Ｓ１３０）、ハンドルが正面に戻ったとき、顔の正面位置を登録する。

次に、制御部１２０は、左右のイヤホンモジュール１１０Ｌ／１１０Ｒの各３軸センサからの出力に基づきドライバーＤの動きを監視する。制御部１２０は、ロール角に閾値以上の変化が生じ（Ｓ１５０）、その変化が長い時間継続する場合には、ドライバーＤに姿勢を正すような警告を与える（Ｓ１７０）。警告の方法は、例えば、イヤホンの音声出力部１８０Ｌ／１８０Ｒから音声を出力させてもいし、車載装置２００から音声や画像による出力を行うようにしてもよい。ロールの変化が長い時間継続はしないが一定期間で繰り返される場合には（Ｓ１８０）、制御部１２０は、居眠りのコックリ動作と判定し、つまり眠気を検知したことをドライバーＤや同乗者に警告する（Ｓ１９０）。この場合、例えば、イヤホンから大音量を出力させたり、車載装置２００を介してドライバーの座席を振動させたりして、ドライバーＤを覚醒させる。

また、制御部１２０は、ピッチ角に閾値以上の変化が生じ（Ｓ２００）、その変化が長い時間継続する場合には、ドライバーＤに姿勢を正すよう警告を与える（Ｓ２２０）。一方、ピッチ角の変化が長い時間継続はしないが一定期間で繰り返される場合には（Ｓ２３０）、制御部１２０は、居眠りのコックリ動作と判定し、つまり眠気を検知したことをドライバーＤや同乗者に警告する（Ｓ２４０）。

さらに制御部１２０は、ヨー角に閾値以上の変化が生じ（Ｓ２５０）、その変化が長い時間継続する場合には、ドライバーＤに姿勢を正すよう警告を与える（Ｓ２７０）。一方、ヨー角の変化が長い時間継続はしないが一定期間で繰り返される場合には（Ｓ２８０）、制御部１２０は、わき見と判定し、前方注意を促す警告をドライバーＤや同乗者に与える（Ｓ２９０）。

次に、本実施例のヒアラブル監視装置１００のキャリブレーションについて説明する。ジャイロセンサ１６０Ｌ／１６０Ｒを用いることで、車室内でのドライバーの顔の向きを検出することが可能になるが、ジャイロセンサが持つ特有の性質により、積分値が誤差を蓄積してしまう。そのため、少しずつヨー角の検出にずれを生じさせる問題がある。これを解消するため、一定間隔でジャイロセンサをリセット(積分値を０にする)する。

ジャイロセンサのリセットは、車載装置２００と連携して行われる。図６（Ａ）に示すように、既知の車載スピーカ３００Ｌ、３００Ｒの位置と、既知の座席３１０の位置（設定済み）に対して、車載スピーカ３００Ｌ、３００Ｒから既知の測定信号の音声を出力させ、測定信号の到達時間差を利用してヒアラブルデバイスの位置を特定し、顔の向きを検出する。ドライバーＤは、図６（Ｂ）に示すように両耳にヒアラブルデバイスを装着しており、両耳間で音声を受け取るまでの時間差から位置が特定される。左右のイヤホンモジュール１１０Ｌ／１１０Ｒが両耳に搭載された場合、その中心がドライバーの頭部の回転軸Ｃであるため、動きの中心をより正確に求めることができる。

図７（Ａ）は、顔の向きよる測定信号の音の到達距離／到達時間の違いを示している。ドライバーが正面を向いているときの音の到達時間（ｔＬ／ｔＲ）と比較して、ｔＬが大きくｔＲが小さい場合には、ドライバーが左を向いていると判定することができ、他方、ｔＬが小さくｔＲが大きい場合には、ドライバーが右を向いていると判定することができる。図７（Ｂ）は、座席の位置による測定信号の音の到達距離／到達時間の違いを示している。ドライバーが正面を向いている状態で座席が前後しても、測定信号の音の到達時間差の比は変わらない。このため、座席が前後した場合でも顔向きの検出が可能である。

音の到達時間（ｔＬ／ｔＲ）と顔の向きとの関係に関し、予め適切な値を学習させておくことで、学習データと測定信号の音の到達時間差とを比較することによりドライバーがどの方向を向いているのかをより正確に把握することができる。そして、ドライバーが正面を向いたと判定することができたとき、ジャイロセンサをリセットする。

ジャイロセンサのキャリブレーションを実施する場合、ヒアラブル監視装置１００の左右のイヤホンモジュール１１０Ｌ／１１０Ｒは、測定信号の音声を入力するためマイクロホン（音声入力部）をそれぞれ備える必要がある。左右のマイクロホンは、測定信号の音声を電気信号に変換し、変換した電気信号を制御部１２０に提供し、制御部１２０は、左右のマイクロホンから得られた音声信号に基づき音声の到達時間差を算出し、上記した学習データを参照してドライバーの顔の向きを判定する。

図８は、キャリブレーションを実施するときの動作フローである。車載装置２００は、ヒアラブル監視装置１００に接続されたことを通知すると、ヒアラブル監視装置１００は、これに応答する通知を行う。次に、車載装置２００は、キャリブレーションの開始をヒアラブル監視装置１００に通知し、ヒアラブル監視装置１００はこれに応答する通知を行う。次に、車載装置は、車載スピーカ３００Ｌ、３００Ｒから測定信号の音声を出力させる。測定信号は、ユーザーが気づかないようにするため、可聴音以外の周波数であることが望ましい。

制御部１２０は、左右のイヤホンモジュール１１０Ｌ／１１０Ｒのマイクロホンで受信した音声信号を受け取り、これを録音し（Ｓ３００）、左右の耳への音の到達時間差を計算する（Ｓ３１０）。次に、制御部１２０は、左右のイヤホンモジュール１１０Ｌ／１１０Ｒの各センサの検出結果に基づき顔の向きを算出し（Ｓ３２０）、顔の正面が算出されたときジャイロセンサをリセットし、キャリブレーションを完了する（Ｓ３３０）。制御部１２０は、キャリブレーションが完了すると、その旨を車載装置２００に通知する。車載装置２００は、タイマー機能を利用し、一定周期でキャリブレーションの実施を繰り返す。

このように本実施例によれば、左右の耳位置に装着されたヒアラブルデバイスを利用することで、ドライバーの行動または姿勢を高精度に検出することができ、もし、不適切な行動が検出された場合には、ドライバーや同乗者などに警告を発しそれを是正させることができる。また、ヒアラブルデバイスを利用するため、車載カメラのように車室内に別途機材を導入する必要がないし、ヒアラブルデバイスを装着している同乗者であれば、同様の監視が可能であり、各座席に監視システムを導入する必要がない。さらに、画像認識を利用しないので、ＡＩが不要であり、低コスト化を図ることができる。

上記実施例では、ヒアラブル監視装置１００がドライバーの動きを監視し、特定の行動または姿勢を検出するようにしたが、これに限らず、ヒアラブル監視装置と連携する他の装置がドライバーの特定の行動または姿勢を検出し、警告を発するようにしてもよい。図９（Ａ）に示す監視システム４００は、ヒアラブル監視装置１００と車載装置２００とを含み、車載装置２００は、ヒアラブル監視装置１００からセンサの検出結果を受け取り、ドライバーの居眠り、スマホ操作、よそ見などを検出した場合には、車載スピーカ３００Ｌ、３００Ｒから警告を発したりする。

また、図９（Ｂ）に示す監視システム４００Ａは、ヒアラブル監視装置１００と、車載装置２００と、スマートフォン２１０とを含む。スマートフォン２１０は、車載装置２００と連携するとともに、ヒアラブル監視装置１００にも接続される。スマートフォン２１０は、ヒアラブル監視装置１００からセンサの検出結果を受け取り、ドライバーの居眠り、スマホ操作、よそ見などを検出する。スマートフォン２１０は、居眠りやよそ見等を検出した場合には、スマートフォン２１０から警告を発したり、あるいは車載装置２００を介して警告を発する。また、ヒアラブル監視装置１００のジャイロセンサのキャリブレーションを実施する場合、スマートフォン２１０は、車載装置２００を介して車載スピーカ３００Ｌ／３００Ｒから測定信号の音声を出力させる。

また、上記実施例では、左右のイヤホンモジュール１１０Ｌ／１１０Ｒの２基の９軸センサを利用してドライバーの動きを監視する例を示したが、必ずしも２基の９軸センサを利用しなくてもドライバーの動きを監視することが可能である。例えば、ドライバーの居眠り（首傾げ）は、左右のいずれか一方の加速度センサとジャイロセンサの出力情報から検出することが可能である。よそ見は、左右のいずれか一方のジャイロセンサの出力情報から検出することが可能である。スマホ操作は、左右のいずれか一方のいずれか一方の加速度センサと地磁気センサの出力情報から検出することが可能である。

さらに上記実施例では、車室内のドライバーの動きを監視する例を示したが、これは一例であり、車外のユーザーの動きを監視するものであってもよい。要は、本発明の監視装置は、ヒアラブルデバイスを装着するあらゆるユーザーに適用可能であり、そのような場合、ユーザーのどのような動きまたは行動を監視し検出するかは、ユーザーに応じて適宜決定される。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：ヒアラブル監視装置
１１０Ｌ、１１０Ｒ：イヤホンモジュール
１２０：制御部
１３０：通信部
１４０：入力部
１５０Ｌ、１５０Ｒ：３軸加速度センサ
１６０Ｌ、１６０Ｒ：３軸ジャイロセンサ
１７０Ｌ、１７０Ｒ：３軸地磁気センサ
１８０Ｌ、１８０Ｒ：音声出力部

Claims

車両のドライバーの左右の耳の位置またはその近傍に装着され、３軸加速度センサ、３軸ジャイロセンサおよび３軸地磁気センサをそれぞれ含む左右のイヤホンモジュールと、
前記左右のイヤホンモジュールの各々の３軸加速度センサ、３軸ジャイロセンサおよび３軸地磁気センサからの検出結果に基づきドライバーの動きを監視する監視手段とを有し、
前記監視手段は、ドライバーのロール角の変化が一定期間で繰り替えされたとき、顔の頷きから居眠りと判定し、ドライバーのピッチ角の変化が一定期間で繰り返されたとき、首の傾げから居眠りと判定し、ドライバーのヨー角の変化が一定期間で繰り返されたとき、顔の向きからわき見と判定する、監視装置。
前記イヤホンモジュールは、ヒアラブルデバイスまたはヒアラブルデバイスの一部である、請求項１に記載の監視装置。
前記監視手段は、通信部を介して取得した車両情報に基づきハンドルが正面か否かを判定し、ハンドルが正面であると判定したときのドライバーの顔の正面位置を初期姿勢として登録し、前記初期姿勢に基づきドライバーの居眠りまたはわき見を判定する、請求項１に記載の監視装置。
監視装置はさらに、前記ジャイロセンサをキャリブレーションする手段を含み、前記キャリブレーションする手段は、複数の車載スピーカーから出力された測定信号の音声を前記左右のイヤホンモジュールの各々から入力し、当該入力した左右の音声信号の到達時間差に基づきドライバーの顔の向きを検出し、ドライバーの顔の向きが正面であるとき、前記ジャイロセンサの積分値をリセットする、請求項１に記載の監視装置。
監視装置はさらに、前記監視手段の監視結果に基づき警告を出力する出力手段を含む、請求項１に記載の監視装置。
前記出力手段は、前記左右のイヤホンモジュールからドライバーを覚醒させるための音声を出力する、請求項５に記載の監視装置。