JP7069374B2 - 電子機器、制御方法及びプログラム - Google Patents

Description

本発明は、所定の報知を行う電子機器、制御方法及びプログラムに関する。

居眠り運転を防止するため等の目的で、車両の運転者の体調を検出する手段が考えられている。この車両の運転者の体調を検出する手段としては、運転者の脈拍数や両手間の心電位に基づくものがある（例えば、特許文献１を参照）。

特開平７－２２８１７１号公報

ところで、運転者の心拍数等を検出する場合には、検出装置を運転者に装着してもらう必要があり、運転者の妨げになったり、設定が煩雑になり、運転者に好まれないおそれがある。
本発明は、運転者の妨げにならず、設定が煩雑にならずに、運転者の不注意を検出し、安全運転を図ることができる電子機器、制御方法及びプログラムを提供することを目的とする。

本発明に係る電子機器は、上述の課題を解決するために、第１カメラ部と、第２カメラ部と、前記第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザが覚醒しているか否かを判定する判定部と、前記第２カメラ部から送信されてきた画像データに基づいて、走行状態であるか否かを判定する走行状態判定部と、報知部と、前記判定部によりユーザが覚醒していないと判定され、前記走行状態判定部により走行状態であると判定された場合には、所定の報知を行うように前記報知部を制御する制御部とを備える構成である。

電子機器では、加速度センサを備え、前記走行状態判定部は、前記加速度センサにより取得した加速度値も加味して、走行状態であるか否かを判定する構成でもよい。

電子機器では、前記判定部は、画像データに含まれているユーザの顔の大きさが覚醒しているか否かの判定に適した大きさかどうかを判定し、適した大きさではないと判定した場合に、ユーザの顔の大きさを適した大きさに調整する構成でもよい。

電子機器では、前記判定部は、画像データにユーザの顔が含まれているか否かを判定し、前記制御部は、前記判定部により画像データにユーザの顔が含まれていないと判定された場合、所定の報知を行うように前記報知部を制御する構成でもよい。

電子機器では、前記判定部は、ユーザが覚醒していない状態の予備的な状態であるかどうかを判定し、前記制御部は、前記判定部によりユーザが前記予備的な状態であると判定された場合、所定の報知を行うように前記報知部を制御する構成でもよい。

電子機器では、前記制御部は、前記判定部によりユーザが覚醒していない、又はユーザが前記予備的な状態であると判定された場合、予め設定されている連絡先に連絡を行う構成でもよい。

電子機器では、前記制御部は、前記判定部によりユーザが覚醒していない、又はユーザが前記予備的な状態であると判定された場合、所定の場所を検索し、当該所定の場所まで案内する構成でもよい。

本発明に係る制御方法は、上述の課題を解決するために、第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザが覚醒しているか否かを判定する覚醒状態判定工程と、第２カメラ部から送信されてきた画像データに基づいて、走行状態であるか否かを判定する走行状態判定工程と、前記覚醒状態判定工程によりユーザが覚醒していないと判定され、前記走行状態判定工程により走行状態であると判定された場合には、所定の報知を行うように報知部を制御する制御工程とを備える構成である。

本発明に係るプログラムは、上述の課題を解決するために、コンピュータに、第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザが覚醒しているか否かを判定する覚醒状態判定工程と、第２カメラ部から送信されてきた画像データに基づいて、走行状態であるか否かを判定する走行状態判定工程と、前記覚醒状態判定工程によりユーザが覚醒していないと判定され、前記走行状態判定工程により走行状態であると判定された場合には、所定の報知を行うように報知部を制御する制御工程とを実行させるためのものである。

本発明によれば、安全運転を図ることができる。

電子機器の構成を示すブロック図である。 電子機器の外観を示す図である。

本実施形態においては、電子機器１は、例えば、スマートフォンであるとして説明するが、これに限られない。また、本実施形態においては、電子機器１は、インストールされているナビゲーションアプリケーションによって、道案内を行う機能を発揮するが、これに限られず、インストールされている様々なアプリケーションにより様々な機能（電話通信機能、地図表示機能等）を発揮する。

電子機器１は、ユーザによる所定の操作に応じて、ナビゲーションアプリケーションを起動し、設定された目的地情報等に基づいて、目的地までの道案内を開始する。また、電子機器１は、ユーザの覚醒状態に応じて、注意を喚起する機能（以下、アラーム機能という）を有している。

ユーザは、車に乗ったときに、ディスプレイ１８に表示される地図情報が見えやすい位置（例えば、ダッシュボードの上）に電子機器１を取り付ける。ユーザは、ディスプレイ１８に表示される地図情報等を参考にしながら、目的地まで運転を行う。

ここで、本実施形態に係る電子機器１は、ユーザの妨げにならず、設定が煩雑にならずに、ユーザの不注意を検出し、安全運転を図るための構成を備えている。以下に、電子機器１の構成と動作について詳細に説明する。

電子機器１は、図１に示すように、第１カメラ部１１と、第２カメラ部１２と、判定部１３と、走行状態判定部１４と、報知部１５と、制御部１６とを備える。

第１カメラ部１１と第２カメラ部１２とは、ユーザの操作に応じてアラーム機能がＯＮにされると、それぞれ撮影を開始する。
第１カメラ部１１は、例えば、インカメラであり、図２（ａ）に示すように、電子機器１の一方面側に配置される。第２カメラ部１２は、図２（ｂ）に示すように、電子機器１の他方面側に配置される。なお、電子機器１の一方面側とは、ディスプレイ１８や各種操作ボタン１９等が配置されている側であって、ユーザが操作を行う正面側を意味する。電子機器１の一方面側とは、バッテリー等が搭載される側であって、背面側を意味する。

また、上述したように、電子機器１は、ディスプレイ１８がユーザ側に向くように車内に取り付けられる。よって、ディスプレイ１８と同じ面に配置されている第１カメラ部１１によって撮影された画像データには、ドライバー（ユーザ）の顔が含まれている。
また、ディスプレイ１８の裏面側に配置される第２カメラ部１２によって撮影された画像データには、車の進行方向の風景が含まれている。
第１カメラ部１１は、撮影した画像データを判定部１３に送信する。
第２カメラ部１２は、撮影した画像データを走行状態判定部１４に送信する。

判定部１３は、第１カメラ部１１から送信されてきた画像データに基づいて、画像データに含まれているユーザが覚醒しているか否かを判定する。判定部１３は、例えば、画像データを解析し、ユーザの顔の動きや目の動き、又は目が開いているか閉じているかというような、居眠り運転を知る上での運転者の特徴的な動作を捕らえ、この特徴的な動作の継続時間により、ユーザが覚醒しているか否かを判定する構成でもよい。

走行状態判定部１４と、第２カメラ部１２から送信されてきた画像データに基づいて、走行状態であるか否かを判定する。走行状態判定部１４は、例えば、画像データを解析し、数フレームの画像データを比較し、変化がある場合には走行状態であると判定する構成でもよいし、数フレームの画像データに含まれる道路を示すオブジェクト（例えば、センターライン、信号機等）の変化に基づいて、走行状態であると判定する構成でもよい。

報知部１５は、スピーカ、バイブレータ、発光素子等によって構成され、外部に報知を行う機能を有している。
制御部１６は、判定部１３によりユーザが覚醒していないと判定され、走行状態判定部１４により走行状態であると判定された場合には、所定の報知を行うように報知部１５を制御する。所定の報知とは、アラームの出力、音声データの出力又は／及びバイブレータの出力等である。音声データは、例えば、「危険です。起きてください。」等の内容のデータである。

このように構成されることにより、電子機器１は、ユーザが車に乗って走行しているときに、覚醒していない状態（居眠り状態）において、所定の報知を行うので、安全運転を図ることができる。
また、電子機器１は、第１カメラ部１１により撮影された画像データにより、ドライバー（ユーザ）の顔を認識しているので、まっすぐ前を見ず、よそ見をしていることも判定することができる。電子機器１は、よそ見をしている状態と判定した場合に、所定の報知を行う構成でもよい。

電子機器１は、図１に示すように、さらに加速度センサ１７を備える構成でもよい。
このような構成の場合には、走行状態判定部１４は、加速度センサ１７により取得した加速度値も加味して、走行状態であるか否かを判定する。

例えば、車が渋滞中の場合等には、第２カメラ部１２で撮影される画像データを解析しても、変化が少なく、走行状態ではないと誤判定する可能性がある。
そこで、電子機器１は、加速度センサ１７により取得した加速度値を加味することにより、走行状態を正しく判定することができる。

なお、走行状態判定部１４は、予め走行状態を示す加速度値のパターンを記憶部（不図示）に記憶しておき、加速度センサ１７により取得した加速度値のパターンと比較して、走行状態であるか否かを判定する構成でもよい。

また、判定部１３は、ナビゲーションアプリケーションが起動され、アラーム機能がＯＮの場合に、第１カメラ部１１により撮影されている画像データに含まれているユーザの顔が最適な大きさになるように調整する構成でもよい。調整は、デジタルズームでもよいし、光学ズームでもよい。光学ズームによって調整する場合には、判定部１３は、第１カメラ部１１のレンズを駆動し、焦点距離を変更する。なお、第１カメラ部１１のレンズは、判定部１３ではなく、制御部１６により駆動されてもよい。

このような構成によれば、電子機器１は、ユーザの顔を最適な大きさに調整するので、覚醒していない状態（居眠り状態）かどうかを確実に判定でき、安全運転を図ることができる。

また、判定部１３は、画像データにユーザの顔が含まれているか否かを判定する構成でもよい。制御部１６は、判定部１３によって画像データにユーザの顔が含まれていないと判定された場合には、所定の報知を行うように報知部１５を制御する。所定の報知とは、覚醒していない状態において出力される報知とは異なるものであり、アラームの出力、音声データの出力又は／及びバイブレータの出力等である。音声データは、例えば、「カメラにあなたの顔が映るように位置を調整してください。」等の内容のデータである。

このような構成によれば、電子機器１は、所定の報知によってユーザに対して第１カメラ部１１の向きを調整するように促すので、覚醒していない状態（居眠り状態）かどうかを確実に判定でき、安全運転を図ることができる。

また、判定部１３は、欠伸等により居眠りの予備的な状態かどうかを判定する構成でもよい。制御部１６は、判定部１３によりユーザが居眠りの予備的な状態であると判定され、走行状態判定部１４により走行状態であると判定された場合には、所定の報知を行うように報知部１５を制御する。所定の報知とは、覚醒していない状態において出力される報知と同じでも異なっていてもよく、アラームの出力、音声データの出力又は／及びバイブレータの出力等である。音声データは、例えば、「危険です。起きてください。」や「一休みしてはいかがですか？」等の内容のデータである。
このような構成によれば、電子機器１は、覚醒していない状態（居眠り状態）の予備的な状態において、所定の報知を行うので、より安全運転を図ることができる。

また、制御部１６は、覚醒していない状態（居眠り状態）、又はその予備的な状態を検知した場合、通信機能を利用して、予め設定されている連絡先（電話番号、又はｅ－ｍａｉｌアドレス等）に連絡を行う構成でもよい。なお、制御部１６は、予め設定されている連絡先に連絡を行う際に、ユーザによる確認後（例えば、ディスプレイのタップ等）に実行されてもよいし、自動的に実行されてもよい。
このような構成によれば、電子機器１は、覚醒していない状態（居眠り状態）の予備的な状態において、予め設定されている連絡先に連絡を行うので、例えば、連絡先から折り返し連絡をもらうことにより、居眠り状態やその予備的な状態から脱することができ、安全運転を図ることができる。

また、制御部１６は、覚醒していない状態（居眠り状態）、又はその予備的な状態を検知した場合、所定の場所（例えば、ＧＰＳ情報から現在地を求め、最寄りのパーキングエリアや休憩スポット等）を検索し、当該所定の場所まで案内する構成でもよい。なお、所定の場所は、電子機器１に保存されているユーザの過去の行動履歴等に基づいて、ユーザが好みそうな場所を優先的に検索してもよい。
このような構成によれば、電子機器１は、覚醒していない状態（居眠り状態）の予備的な状態において、最寄りのパーキングエリア等に案内をしてくれるので、案内に従うことにより、十分な休息を取ることができ、安全運転を図ることができる。

また、本実施例では、主に安全運転を図るための電子機器の構成と動作について説明したが、これに限られず、各構成要素を備え、安全運転を図るための方法、及びプログラムとして構成されてもよい。

さらに、電子機器の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。

ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１ 電子機器
１１ 第１カメラ部
１２ 第２カメラ部
１３ 判定部
１４ 走行状態判定部
１５ 報知部
１６ 制御部
１７ 加速度センサ

Claims (11)

1. 第１カメラ部と、第２カメラ部と、加速度センサと、報知部と、
   前記第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザの運転上の不注意が生じているか否かを判定する判定部と、
   前記判定部により前記不注意が生じていると判定した場合に、前記第２カメラ部から取得した画像データと、前記加速度センサから取得したデータとに基づいて所定の報知を行うように前記報知部を制御する制御部と、
   を備える電子機器。
2. 前記不注意は覚醒していない状態または欠神、もしくはよそ見を含む請求項１記載の電子機器。
3. 前記判定部は前記ユーザの運転上の不注意が生じている時間を特定する請求項１記載の電子機器。
4. 前記第２カメラ部は道路上のオブジェクトが変化する画像データを取得する請求項１記載の電子機器。
5. 前記判定部は、画像データにユーザの顔が含まれているか否かを判定し、
   前記制御部は、前記判定部により画像データにユーザの顔が含まれていないと判定された場合、所定の報知を行うように前記報知部を制御する請求項１記載の電子機器。
6. 前記判定部は、画像データに含まれているユーザの顔の大きさが、前記不注意が生じているか否かの判定に適した大きさかどうかを判定し、適した大きさではないと判定した場合に、ユーザの顔の大きさを適した大きさに調整する請求項１記載の電子機器。
7. 前記判定部は、ユーザが前記運転上の不注意が生じている状態の予備的な状態であるかどうかを判定し、
   前記制御部は、前記判定部によりユーザが前記予備的な状態であると判定された場合、所定の報知を行うように前記報知部を制御する請求項１記載の電子機器。
8. 前記制御部は、前記判定部によりユーザの運転上の不注意が生じている、又はユーザが前記予備的な状態であると判定された場合、予め設定されている連絡先に連絡を行う請求項７記載の電子機器。
9. 前記制御部は、前記判定部によりユーザの運転上の不注意が生じている、又はユーザが前記予備的な状態であると判定された場合、所定の場所を検索し、当該所定の場所まで案内する請求項７記載の電子機器。
10. 第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザの運転上の不注意が生じているか否かを判定する不注意状態判定工程と、
    前記不注意が生じていると判定した場合に、第２カメラ部から取得した画像データと、加速度センサから取得したデータとに基づいて所定の報知を行うように報知部を制御する制御工程とを備える制御方法。
11. コンピュータに、
    第１カメラ部から送信されてきた画像データに基づいて、前記画像データに含まれているユーザの運転上の不注意が生じているか否かを判定する不注意状態判定工程と、
    前記不注意が生じていると判定した場合に、第２カメラ部から取得した画像データと、加速度センサから取得したデータとに基づいて所定の報知を行うように報知部を制御する制御工程とを実行させるためのプログラム。
    

Images