JP6544214B2

JP6544214B2 - 操作装置

Info

Publication number: JP6544214B2
Application number: JP2015224822A
Authority: JP
Inventors: 西田　篤史; 篤史西田; 恵子城所
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2015-11-17
Filing date: 2015-11-17
Publication date: 2019-07-17
Anticipated expiration: 2035-11-17
Also published as: JP2017091448A

Description

本発明は、車両に搭載される操作装置に関する。

操作装置が、例えば特許文献１に記載されている。この操作装置では、車両の運転状況に関する運転情報を取得する。運転情報は、例えば車両が踏切を横断中であるといった情報や、車両が右左折中であるといった情報などである。そして、この操作装置では、運転情報に基づいて、運転者が操作可能な状況か、操作困難な状況かを判定する。操作困難な状況と判定した場合、この操作装置は、運転者が操作可能な機能を制限する。

特開２００５−２６３１５５号公報

しかしながら、特許文献１に記載された従来の操作装置では、車両の走行状態に基づいて機能制限を行うのみであり、運転者自身の運転状態は考慮されない問題があった。

本発明は、上記課題に鑑みてなされたものであり、運転者自身の運転状態に基づいて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させる操作装置を提供することを目的とする。

本発明は、操作装置であって、車載カメラにより撮像された少なくとも運転者の目を含む画像を受信する受信部と、画像に基づいて、運転者の視線を検出する視線検出部と、視線検出部で検出された運転者の視線が所定の箇所へ向いている回数が、第１の所定回数以上であるか否か及び当該第１の所定回数よりも少ない第２の所定回数未満であるか否かをそれぞれ判定する判定部と、判定部が判定した結果が、第１の所定回数以上または第２の所定回数未満であった場合に、運転者が利用可能な機能の種類もしくは数、もしくはその両方を減少させ、第１の所定回数未満、かつ、第２の所定回数以上の場合に、減少させていないときの運転者が利用可能な機能の種類および数を上限として、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増加させる制御部と、を備える。

本発明では、運転者の視線の向き及び動きに応じて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させる。このように、本発明では、運転者の視線を検出することにより運転者自身の運転状態を判断し、運転状態に基づいて運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させることができる。

以上説明したように、本発明によれば、運転者自身の運転状態に基づいて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させることができる。

操作装置を備えた運転支援装置のブロック図操作装置の動作を示すフローチャート

以下、図１−図２を参照しながら、実施の形態について詳細に説明する。

［概要］
本実施の形態に係る操作装置は、車載カメラにより撮像された少なくとも運転者の目を含む画像を受信する。そして、操作装置は、運転者の視線を検出して、視線の向き及び動きに応じて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させる。このように、本実施の形態に係る操作装置は、運転者自身の運転状態に基づいて機能の種類もしくは数、もしくはその両方を増減させることができる。

［操作装置の構成］
本実施の形態は、本発明の操作装置２を備えた運転支援装置１である。図１は、操作装置２を備えた運転支援装置１のブロック図である。図１に示すように、運転支援装置１は、車載カメラ１１と、操作装置２とを備えている。操作装置２は、受信部２１と、視線検出部２２と、判定部２３と、制御部２４とを備えている。

車載カメラ１１は、例えばルームミラー近傍に取り付けられ、少なくとも運転者の目を、所定時間間隔で撮像する。所定時間間隔は、後述する運転者の視線の動きを検出できる間隔に適宜設定されている。車載カメラ１１は、撮像した画像情報を受信部２１へ送信する。

視線検出部２２は、受信部２１が受信した少なくとも運転者の目を含む画像に基づいて、運転者の視線を検出する。視線検出方法は、周知の方法を採用することができる。

判定部２３は、視線検出部２２が検出した視線の向き及び動きが、予め定められた判定時間以内に所定条件を満たすか否かを判定する。判定時間は、運転者の視線の向き及び動きが所定条件を満たすか否かを判定するために適宜設定する時間である。所定条件は、適宜設定されるが、例えば以下に記載した（１）〜（５）である。

（１）視線が、所定時間以上、運転者の正面の所定範囲から外れている。
この条件に該当する場合、運転者はわき見運転をしている虞がある。
（２）視線が、所定時間以上、所定範囲内に留まっており略一定である。
この条件に該当する場合、運転者は一点を注視している虞がある。
（３）視線がルームミラーやサイドミラーなどの安全確認を行う箇所へ向いている回数が、所定回数未満である。
この条件に該当する場合、運転者は安全確認が不十分である虞がある。
（４）視線の移動量が、所定量未満である。
この条件に該当する場合、運転者は、視線の移動量が少なく、運転への意識が低下している虞がある。
（５）視線が、ルームミラーやサイドミラーなどの安全確認を行う箇所へ向いている回数が、所定回数以上である。
この条件に該当する場合、運転者は高頻度に安全確認を行っており、運転負荷が高い虞がある。

ここで、（１）〜（５）における各所定時間、所定量、及び各所定回数は適宜設定されるが、（１）〜（２）の各所定時間は、判定時間よりも短い時間に設定される。また、判定部２３は、（１）〜（２）の各所定時間は、１回の判定時間内のみではなく、次の判定時間に渡って判断しても良い。

制御部２４は、判定部２３により運転者の視線の向き及び動きが所定条件を満たすと判定された場合に、運転者が利用可能な機能を制限する。つまり、制御部２４は、運転者が利用可能な機能の種類もしくは数、もしくはその両方を減少させる。機能制限の方法について具体的に説明する。操作装置２には、機能制限のレベルが複数レベル設けられている。運転者が利用可能な機能の種類もしくは数、もしくはその両方は、機能制限のレベルが高くなる程減少する。以下では、説明を簡略化するため、複数レベルは、レベル１〜３の３レベルとする。レベル１は、機能制限が行われておらず、操作装置２の全ての機能を使用できるレベルとする。また、レベル２は、例えばオーディオ関連の機能のみ使用できるレベルとする。また、レベル３は、最も機能制限のレベルが高く、例えば操作装置２の全ての機能を使用できないレベルとする。

そして、制御部２４は、判定部２３により運転者の視線の向き及び動きが所定条件を満たすと判定された場合に、操作装置２の機能制限を１レベル強化して、運転者が利用可能な機能の種類もしくは数、もしくはその両方を減少させる。例えば、制御部２４は、操作装置２に対する機能制限のレベルがレベル１であった状態から、機能制限を１レベル強化して、レベル２の状態とする。

一方、制御部２４は、運転者が利用可能な機能の種類もしくは数、もしくはその両方が減少されている際に、判定部２３により運転者の視線の向き及び動きが所定条件を満たさないと判定された場合に、機能制限を緩和する。つまり、制御部２４は、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増加させる。機能制限の緩和方法について具体的に説明する。機能制限の緩和方法は、前述した機能制限強化の方法とは逆のことを行う。つまり、制御部２４は、判定部２３により運転者の視線の向き及び動きが所定条件を満たさないと判定された場合に、機能制限を１レベル緩和して、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増加させる。例えば、制御部２４は、操作装置２に対する機能制限のレベルがレベル３であった状態から、機能制限を１レベル緩和して、レベル２の状態とする。

［操作装置の動作］
次に、図２を参照して操作装置２の動作について説明する。図２は、操作装置２の動作を示すフローチャートである。図２に示すフローチャートは、例えば車両の電源がオンされた際に開始される。

まず、ステップＳ２１において、制御部２４は、操作装置２に対する機能制限はなしに設定する。運転者は、操作装置２の全ての機能を使用できる。

ステップＳ２１において制御部２４によって機能制限なしに設定された後に、ステップＳ２２において、受信部２１が、車載カメラ１１によって撮像された少なくとも運転者の目を含む画像を受信する。車載カメラ１１は、少なくとも車両が走行中に運転者を撮像する。

ステップＳ２２において受信部２１が少なくとも運転者の目を含む画像を受信した後に、ステップＳ２３において、受信した画像に基づいて、視線検出部２２が運転者の視線を検出する。視線検出部２２は、受信部２１が画像を受信する度に、画像を解析して視線を検出する。

ステップＳ２３において視線検出部２２が視線を検出した後に、ステップＳ２４において、判定部２３が、視線検出部２２が検出した視線の向き及び動きが所定条件を満たすか否かを判定する。前述したように、判定部２３は、予め定められた判定時間以内に視線の向き及び動きが所定条件を満たすか否かを判定する。判定時間以内に視線の向き及び動きが所定条件を満たすと判定された場合にステップＳ２５へ進み、判定時間以内に視線の向き及び動きが所定条件を満たさないと判定された場合にステップＳ２６へ進む。

ステップＳ２４において、視線の向き及び動きが所定条件を満たすと判定された場合に、ステップＳ２５において、制御部２４は機能制限を１レベル強化して、運転者が利用可能な機能の種類もしくは数、もしくはその両方を減少させる。

一方、ステップＳ２４において、視線の向き及び動きが所定条件を満たさないと判定された場合に、ステップＳ２６において、制御部２４は既に機能の種類もしくは数、もしくはその両方が減少されているか否かを判定する。機能の種類もしくは数、もしくはその両方が減少されている場合にステップＳ２７へ進み、機能の種類もしくは数、もしくはその両方が減少されていない場合にステップＳ２８へ進む。

ステップＳ２６において、機能の種類もしくは数、もしくはその両方が減少されていると判定された場合に、ステップＳ２７において、制御部２４は機能制限を１レベル緩和して、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増加させる。

ステップＳ２５、ステップＳ２６、又はステップＳ２７の後に、ステップＳ２８において、制御部２４は、運転が終了したか否かを判定する。例えば、制御部２４は、車両の電源がオフされた場合に、運転が終了したと判定する。運転が終了していない場合にステップＳ２２へ戻り、運転が終了した場合に操作装置２の動作が終了する。

［実施の形態の効果］
本実施の形態では、運転者の視線の向き及び動きが所定条件を満たす場合に、運転者が利用可能な機能の種類もしくは数、もしくはその両方を減少させる。このように、本実施の形態では、運転者の視線を検出することにより運転者自身の運転状態を判断し、運転状態に基づいて運転者が利用可能な機能の種類もしくは数、もしくはその両方を減少させることができる。

また、本実施の形態では、機能の種類もしくは数、もしくはその両方が既に減少されている際に、運転者の視線の向き及び動きが所定条件を満たさない場合に、機能の種類もしくは数、もしくはその両方を増加させる。これにより、本実施の形態では、運転者が操作装置２の多くの機能を使用でき、運転者の利便性が向上する。

［変形例］
次に、変形例について説明する。車載カメラ１１は、運転者の目のみではなく、運転者の上半身を撮像しても良い。さらに、車載カメラ１１は、助手席乗員の上半身も撮像して良い。そして、判定部２３は、車載カメラ１１が撮像した画像に基づいて、操作装置２に対して、運転者が操作を行おうとしているのか、助手席乗員が操作を行おうとしているのかを識別する。そして、制御部２４は、運転者が操作を行おうとしている場合に機能制限を行い、助手席乗員が操作を行おうとしている場合には機能制限を行わないようにしても良い。

この変形例に基づく技術範囲を考えた場合、例えば次のような記載になる。撮像された運転者及び助手席乗員の画像を受信する受信部と、受信した画像に基づいて運転者の視線を検出する視線検出部と、受信した画像に基づいて運転者が操作を行おうとしているのか助手席乗員が操作を行おうとしているのかを識別する判定部と、前記判定部が、運転者が操作を行おうとしていると識別した場合に、視線検出部が検出した視線の向き及び動きに応じて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させる制御部と、を備える。

［参考例］
次に、参考例について説明する。操作装置は、運転支援システムが作動している場合に、運転者の運転負荷が低いと判断し、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増加させても良い。運転支援システムは、例えば、先行車と適切な車間距離を保ちながら追従走行するレーダークルーズコントロールなどである。この参考例に基づく技術範囲を考えた場合、例えば次のような記載になる。撮像された運転者の目の画像を受信する受信部と、受信した画像に基づいて運転者の視線を検出する視線検出部と、運転支援システムが作動しているか否かを判定する判定部と、前記判定部の判定結果、及び視線検出部が検出した視線の向き及び動きに応じて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させる制御部と、を備える。

また、運転支援装置は、機能の種類もしくは数、もしくはその両方を減少させるか増加させるかの判断において、カーナビゲーションシステムが取得した情報を利用しても良い。例えば、運転支援装置は、事故発生の多い時間帯を車両が走行中の場合に、運転者の運転負荷が高いとして、機能の種類もしくは数、もしくはその両方を減少させる。また、運転支援装置は、出発地と目的地周辺を車両が走行中の場合に、運転者の運転負荷が高いとして、機能の種類もしくは数、もしくはその両方を減少させる。また、運転支援装置は、細街路、カーブ、高速道路のＩＣ、ＪＣＴ、事故多発交差点を車両が走行中の場合に、運転者の運転負荷が高いとして、機能の種類もしくは数、もしくはその両方を減少させる。この参考例に基づく技術範囲を考えた場合、例えば次のような記載になる。撮像された運転者の目の画像を受信する受信部と、受信した画像に基づいて運転者の視線を検出する視線検出部と、車両の走行状態を取得するナビゲーション部と、ナビゲーション部が取得した車両の走行状態、及び視線検出部が検出した視線の向き及び動きに応じて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させる制御部と、を備える。

また、運転支援装置は、機能の種類もしくは数、もしくはその両方を減少させるか増加させるかの判断において、衝突回避支援システムの警告発動履歴を利用しても良い。例えば、運転支援装置は、レーンディパーチャーアラート（ＬＤＡ）、プリクラッシュセーフティシステム（ＰＣＳ）、先行者発信告知機能の発動履歴がある場合に、機能の種類もしくは数、もしくはその両方を減少させる。レーンディパーチャーアラートは、車線逸脱の危険を運転者へ知らせる機能である。プリクラッシュセーフティシステムは、歩行者への衝突の危険を回避する機能である。先行者発信告知機能は、車両が信号待ちや渋滞での停止中に、先行車が発信したことを運転者へ知らせる機能である。この参考例に基づく技術範囲を考えた場合、例えば次のような記載になる。撮像された運転者の目の画像を受信する受信部と、受信した画像に基づいて運転者の視線を検出する視線検出部と、衝突回避支援システムの警告が発動されたか否かを判定する判定部と、前記判定部の判定結果、及び視線検出部が検出した視線の向き及び動きに応じて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させる制御部と、を備える。

また、運転支援装置は、車外を撮像するカメラを更に備え、自車周辺に車両が常に存在する状況では、運転者の運転負荷が高いとして、機能の種類もしくは数、もしくはその両方を減少させても良い。この参考例に基づく技術範囲を考えた場合、例えば次のような記載になる。自車周辺の画像、及び運転者の目の画像を受信する受信部と、運転者の目の画像に基づいて運転者の視線を検出する視線検出部と、自車周辺の画像に基づいて自車周辺に車両が常に存在するか否かを判定する判定部と、前記判定部の判定結果、及び視線検出部が検出した視線の向き及び動きに応じて、運転者が利用可能な機能の種類もしくは数、もしくはその両方を増減させる制御部と、を備える。

本発明は、車両に搭載される操作装置などに適用可能である。

１運転支援装置
２操作装置
１１車載カメラ
２１受信部
２２視線検出部
２３判定部
２４制御部

Claims

操作装置であって、
車載カメラにより撮像された少なくとも運転者の目を含む画像を受信する受信部と、
前記画像に基づいて、運転者の視線を検出する視線検出部と、
前記視線検出部で検出された前記運転者の視線が所定の箇所へ向いている回数が、第１の所定回数以上であるか否か及び当該第１の所定回数よりも少ない第２の所定回数未満であるか否かをそれぞれ判定する判定部と、
前記判定部が判定した結果が、
前記第１の所定回数以上または前記第２の所定回数未満であった場合に、運転者が利用可能な機能の種類もしくは数、もしくはその両方を減少させ、
前記第１の所定回数未満、かつ、前記第２の所定回数以上の場合に、減少させていないときの運転者が利用可能な前記機能の種類および数を上限として、運転者が利用可能な前記機能の種類もしくは数、もしくはその両方を増加させる制御部と、を備えた、操作装置。
前記受信部が受信する前記画像には、運転者及び助手席乗員の上半身が含まれており、
前記判定部は、前記画像に基づいて、運転者と助手席乗員のいずれが操作を行おうとしているかの識別を行い、
前記制御部は、前記判定部が運転者が操作を行おうとしていると識別した場合に、運転者が利用可能な前記機能の種類もしくは数、もしくはその両方を増減させる、請求項１に記載の操作装置。