JP4481187B2

JP4481187B2 - 車両用操作装置

Info

Publication number: JP4481187B2
Application number: JP2005034133A
Authority: JP
Inventors: 考造嶋村
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2005-02-10
Filing date: 2005-02-10
Publication date: 2010-06-16
Anticipated expiration: 2025-02-10
Also published as: JP2006219000A

Description

本発明は、車両用操作装置に関する。

従来、例えば車両のフロントウィンドウ上に車載機器の各種操作項目を表示し、赤外線領域にて撮影可能なカメラを用いて検出した乗員の視線の対象位置が適宜の操作項目上の位置である場合に、この操作項目に対応した操作信号を車載機器に出力する車両用操作装置が知られている（例えば、特許文献１参照）。
特開平０５−２７０２９６号公報

ところで、上記従来技術に係る車両用操作装置によれば、乗員の視線の対象位置が適宜の操作項目上の位置であるか否かに応じて車載機器が操作されることから、乗員の視線の対象位置を検出する状態においては、乗員が各種の操作項目を認識し易いようにして、各操作項目の表示の明るさが増大させられる場合がある。しかしながら、単に、各操作項目の表示の明るさが増大させられるだけでは、夜間等において乗員が眩惑させられてしまう虞がある。
本発明は上記事情に鑑みてなされたもので、乗員の視線に応じて機器を制御する際に機器の表示画面の明るさを適切に設定することが可能な車両用操作装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車両用操作装置は、車両の乗員の視線を検出する視線検出手段（例えば、実施の形態での視線検出部３１）と、該視線検出手段により検出された視線の対象位置が、表示装置の表示画面（例えば、実施の形態でのＨＵＤ４３）上の所定領域（例えば、実施の形態での所定領域４３Ａ）内に設けられた操作部位（例えば、実施の形態での各視線スイッチ４４_１，…，４４_ｎ）である場合に、前記操作部位に応じた機器（例えば、実施の形態での制御機器１３）の動作を制御する制御信号を前記機器に出力する操作手段（例えば、実施の形態での操作制御部３３）とを備える車両用操作装置であって、前記操作手段は、前記操作部位および前記機器の表示画面の明るさを増大させるオン信号と、前記操作部位および前記機器の明るさを低減させるオフ信号とを出力可能であって、前記視線検出手段により検出された視線の対象位置が前記操作部位であることが、所定期間内で検知されなかった場合に前記オフ信号を出力することに加えて、前記操作手段は、前記視線検出手段により検出された視線の対象位置が前記操作部位以外の位置であって、かつ、前記機器上の位置である場合には、前記オフ信号の出力を禁止することを特徴としている。

上記構成の車両用操作装置によれば、車両の乗員の視線の対象位置が操作部位であることが所定期間内で検知されなかった場合、つまり視線の対象位置が操作部位以外である状態の継続時間が所定時間を超えた場合には、車両の乗員は操作部位に対応する機器の動作制御の実行を意図していないと判断し、操作部位および操作部位に対応する機器の明るさ（例えば、機器に具備される表示画面の明るさ等）を低減させることで、操作部位および操作部位に対応する機器の不必要な明るさによって、夜間等に乗員が違和感を感じたり、眩惑させられてしまうことを防止することができる。

上記構成の車両用操作装置によれば、視線の対象位置が操作部位以外であっても、機器上の位置（例えば、操作部位に対応する機器上の位置）である場合には、操作部位および機器の明るさを低減させる動作を禁止することにより、乗員が機器の動作制御の実行を意図している場合に操作部位および機器の明るさが低減させられてしまうことを防止し、機器の動作制御に乗員の意志を的確に反映させることができる。

本発明の車両用操作装置によれば、操作部位および操作部位に対応する機器の不必要な明るさによって、夜間等に乗員が違和感を感じたり、眩惑させられてしまうことを防止することができる。
さらに、乗員が機器の動作制御の実行を意図している場合に操作部位および機器の明るさが低減させられてしまうことを防止し、機器の動作制御に乗員の意志を的確に反映させることができる。

以下、本発明の一実施形態に係る車両用操作装置について添付図面を参照しながら説明する。
本実施の形態による車両用操作装置１０は、例えば図１に示すように、複数の第１〜第ｎ視線センサ１１_１，…，１１_ｎと、複数の第１〜第ｎ発光ダイオード（ＬＥＤ）１２_１，…，１２_ｎと、各視線センサ１１_１，…，１１_ｎから出力される検出信号に基づき各種の制御機器１３を制御する電子制御ユニット（ＥＣＵ）１４とを備えて構成されている。

各視線センサ１１_１，…，１１_ｎは、例えば図２に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられた、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる複数（例えば、２つ）の第１〜第ｎカメラ２１_１，…，２１_ｎおよび第１〜第ｎ画像処理部２２_１，…，２２_ｎを備えて構成されている。
各カメラ２１_１，…，２１_ｎは、例えば可視光領域で撮像可能であれば、各ＬＥＤ１２_１，…，１２_ｎから車両の乗員の顔や眼球に向けて照射された可視光の反射を撮像し、例えば赤外線領域で撮像可能であれば、各ＬＥＤ１２_１，…，１２_ｎから車両の乗員の眼球に向けて照射された赤外線の反射を撮像する。
各画像処理部２２_１，…，２２_ｎは、各カメラ２１_１，…，２１_ｎの撮像により得られた可視光画像または赤外線画像に対して、例えばフィルタリングや二値化処理、さらに、データ削減やデータ圧縮等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して電子制御ユニット（ＥＣＵ）１４へ出力する。

電子制御ユニット（ＥＣＵ）１４は、例えば視線検出部３１と、操作意志検知部３２と、操作制御部３３と、各ＬＥＤ１２_１，…，１２_ｎの照射状態を制御する発光制御部３４とを備えて構成されている。
視線検出部３１は、各視線センサ１１_１，…，１１_ｎから入力される画像データに対して所定の認識処理を行い、認識した検知対象物に基づき、車両の乗員の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。
例えば可視光画像の画像データに対して、視線検出部３１は乗員の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、例えば目頭の位置と虹彩の中心位置との相対距離に基づき視線ベクトルを算出する。
また、例えば赤外線画像の画像データに対して、視線検出部３１は乗員の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、例えば角膜表面における反射像（プルキニエ像）の中心位置と瞳孔の中心位置との相対距離に基づき視線ベクトルを算出する。

操作意志検知部３２は、各視線センサ１１_１，…，１１_ｎから入力される画像データに対して所定の認識処理を行い、車両の乗員の所定の表情や動作を検知し、さらに、制御機器１３に対する所定の操作意志を有するか否かを判定し、この判定結果を操作制御部３３に出力する。
操作制御部３３は、視線検出部３１により検出された乗員の視線の対象位置や該対象位置の変化状態等に応じて、さらに、操作意志検知部３２により判定された乗員の操作意志に応じて、例えば表示装置やナビゲーション装置や空調装置や音響装置等の各種の制御機器１３を制御する。

そして、制御機器１３を構成する表示装置は、例えば図２に示すように、インストルメントパネルに配置されたメイン表示画面４１およびサブ表示画面４２と、フロントウィンドウ上で運転者の前方視界を妨げない位置に情報を表示するヘッドアップディスプレイ（ＨＵＤ）４３とを備えて構成されている。
メイン表示画面４１には、例えばナビゲーション装置の地図データや、例えば各種の制御機器１３の動作状態を示す画像や、例えば各種の制御機器１３の所定の制御動作の実行を操作者の直接的な入力操作により指示するための操作入力項目等が表示され、サブ表示画面４２には、例えば各種の文字情報等が表示される。
また、ＨＵＤ４３には、例えば所定領域４３Ａ内に複数（例えば、４つ）の視線スイッチ４４_１，…，４４_ｎが表示され、視線検出部３１により検出された乗員の視線の対象位置が各視線スイッチ４４_１，…，４４_ｎである場合には、各視線スイッチ４４_１，…，４４_ｎに対応した制御機器１３の所定の制御動作（例えば、空調装置の温度設定や音響装置の音量設定や音声認識装置等の所定の制御機器１３の起動等）が実行されるように設定されている。

本実施の形態による車両用操作装置１０は上記構成を備えており、次に、この車両用操作装置１０の動作について説明する。

先ず、例えば図３に示すステップＳ０１においては、各視線センサ１１_１，…，１１_ｎから入力される画像データに基づき、車両の乗員の視線ベクトルおよび視線の対象位置を検知する。
次に、ステップＳ０２においては、検知した視線の対象位置が、ＨＵＤ４３上に表示された各視線スイッチ４４_１，…，４４_ｎあるいはＨＵＤ４３上の所定領域４３Ａ内、または、各視線スイッチ４４_１，…，４４_ｎに対応する各種の制御機器１３であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０５に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０３に進む。

次に、ステップＳ０３においては、検知した視線の対象位置が、各視線スイッチ４４_１，…，４４_ｎ以外あるいはＨＵＤ４３上の所定領域４３Ａ以外、または、各視線スイッチ４４_１，…，４４_ｎに対応する各種の制御機器１３以外である継続時間Ｔが所定時間Ｔ０よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０４に進み、後述する明るさ低減処理を実行し、一連の処理を終了する。

また、ステップＳ０５においては、後述する明るさ低減処理の実行中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進む。
ステップＳ０６においては、明るさ低減処理の実行を停止する。
そして、ステップＳ０７においては、視線の対象位置が各視線スイッチ４４_１，…，４４_ｎであるか否かを判定する。
ステップＳ０７の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ０７の判定結果が「ＹＥＳ」の場合には、ステップＳ０８に進む。
そして、ステップＳ０８においては、各視線スイッチ４４_１，…，４４_ｎに対応した制御機器１３の所定の制御動作を実行し、一連の処理を終了する。

以下に、上述したステップＳ０４での明るさ低減処理について説明する。
先ず、図４に示すステップＳ１１においては、継続時間Ｔが所定の第１判定時間Ｔ１よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１２に進み、このステップＳ１２においては、各視線スイッチ４４_１，…，４４_ｎのＨＵＤ４３上での明るさを低減させ、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１３に進む。
そして、ステップＳ１３においては、継続時間Ｔが所定の第１判定時間Ｔ１よりも長い所定の第２判定時間Ｔ２よりも長いか否かを判定する。
ステップＳ１３の判定結果が「ＮＯ」の場合には、ステップＳ１４に進み、このステップＳ１４においては、各視線スイッチ４４_１，…，４４_ｎのＨＵＤ４３上での大きさを縮小させ、一連の処理を終了する。
一方、ステップＳ１３の判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。

そして、ステップＳ１５においては、継続時間Ｔが所定の第２判定時間Ｔ２よりも長い所定の第３判定時間Ｔ３よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１６に進み、このステップＳ１６においては、各視線スイッチ４４_１，…，４４_ｎのＨＵＤ４３上での表示を停止させ、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１７に進む。
そして、ステップＳ１７においては、継続時間Ｔが所定の第３判定時間Ｔ３よりも長い所定の第４判定時間Ｔ４よりも長いか否かを判定する。
ステップＳ１７の判定結果が「ＮＯ」の場合には、ステップＳ１８に進み、このステップＳ１８においては、各種の制御機器１３の表示画面（例えば、表示装置のメイン表示画面４１およびサブ表示画面４２およびＨＵＤ４３）の明るさを低減させ、一連の処理を終了する。
一方、ステップＳ１７の判定結果が「ＹＥＳ」の場合には、各種の制御機器１３の表示画面（例えば、表示装置のメイン表示画面４１およびサブ表示画面４２およびＨＵＤ４３）の表示を停止し、一連の処理を終了する。

以下に、例えば制御機器１３として音声認識装置を車両の乗員の視線に基づき制御する処理について説明する。
先ず、例えば図５に示すステップＳ２１においては、各視線センサ１１_１，…，１１_ｎから入力される画像データに基づき、車両の乗員の視線ベクトルおよび視線の対象位置を検知する。
次に、ステップＳ２２においては、検知した視線の対象位置が、ＨＵＤ４３上に表示された各視線スイッチ４４_１，…，４４_ｎのうちの音声認識制御の視線スイッチあるいはＨＵＤ４３上の所定領域４３Ａ内、または、音声認識装置（例えば、音声入力用のマイク等）であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ２４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ２３に進む。

次に、ステップＳ２３においては、検知した視線の対象位置が、音声認識制御の視線スイッチ以外あるいはＨＵＤ４３上の所定領域４３Ａ以外、または、音声認識装置（例えば、音声入力用のマイク等）以外である継続時間Ｔが所定時間Ｔ０よりも長いか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、上述した明るさ低減処理を実行し、一連の処理を終了する。

また、ステップＳ２４においては、明るさ低減処理の実行中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ２６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２５に進む。
ステップＳ２５においては、明るさ低減処理の実行を停止する。
そして、ステップＳ２６においては、視線の対象位置が音声認識制御の視線スイッチである継続時間Ｔｏｎが所定時間Ｔａよりも長いか否かを判定する。
ステップＳ２６の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ２６の判定結果が「ＹＥＳ」の場合には、ステップＳ２７に進む。
そして、ステップＳ２７においては、音声認識装置を起動して待機状態とする。このとき、例えば図６に示す視線スイッチの通常の表示状態に対して、図７（ａ）〜（ｄ）に示すように、表示書体の変更や表示サイズの変更や表示色の変更や点灯状態の変更等により、音声認識制御の視線スイッチを強調表示する。また、音声や通知音等の聴覚的通知や、ランプの点灯や表示等の視覚的通知や、ステアリング振動やシート振動等の触覚的通知により、音声認識制御の待機状態であることを車両の乗員に通知する。

そして、ステップＳ２８においては、例えば乗員の発話に対する音声認識の認識結果や操作意志検知部３２による認識結果等に基づき、車両の乗員が音声入力による機器制御の意志を有しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ２７に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ２９に進む。
そして、ステップＳ２９においては、乗員の音声入力に対する音声認識結果に応じた機器制御を実行し、一連の処理を終了する。

上述したように、本実施の形態による車両用操作装置１０によれば、車両の乗員が各種の制御機器１３の動作制御の実行を意図している場合に、各視線スイッチ４４_１，…，４４_ｎおよび各視線スイッチ４４_１，…，４４_ｎに対応した制御機器１３に具備される表示画面（例えば、表示装置のメイン表示画面４１およびサブ表示画面４２およびＨＵＤ４３）の明るさが低減させられてしまうことを防止し、制御機器１３の動作制御に乗員の意志を的確に反映させることができる。
しかも、乗員の視線が一時的に各視線スイッチ４４_１，…，４４_ｎ等から外れた場合には明るさ低減処理を実行せず、この継続時間Ｔが所定時間Ｔ０よりも長い場合に明るさ低減処理を実行することから、過剰な頻度で各視線スイッチ４４_１，…，４４_ｎや表示画面の明るさが変更されてしまうことを防止することができる。
また、視線検出部３１により検出された乗員の視線の対象位置に加えて、操作意志検知部３２により判定された乗員の操作意志に基づき、機器制御を実行することにより、例えば複数の乗員の視線の対象位置が互いに異なる場合であっても、操作意志を確認して適切な機器制御を行うことができる。

本発明の一実施形態に係る車両用操作装置の構成図である。図１に示す視線センサを搭載した車両の車室内前部を示す図である。図１に示す車両用操作装置の動作を示すフローチャートである。図３に示す明るさ低減処理を示すフローチャートである。制御機器としての音声認識装置に対する車両用操作装置の動作を示すフローチャートである。視線スイッチの通常の表示状態の一例を示す図である。図７（ａ）は表示書体を変更して視線スイッチを強調表示する状態の一例を示す図であり、図７（ｂ）は表示サイズを変更して視線スイッチを強調表示する状態の一例を示す図であり、図７（ｃ）は表示色を変更して視線スイッチを強調表示する状態の一例を示す図であり、図７（ｄ）は表示の点灯状態を変更して視線スイッチを強調表示する状態の一例を示す図である。

符号の説明

１０車両用操作装置
１３制御機器（機器）
３１視線検出部（視線検出手段）
３３操作制御部（操作手段）
４３ＨＵＤ（表示画面）
４４_１，…，４４_ｎ視線スイッチ（操作部位）

Claims

車両の乗員の視線を検出する視線検出手段と、
該視線検出手段により検出された視線の対象位置が、表示装置の表示画面上の所定領域内に設けられた操作部位である場合に、前記操作部位に応じた機器の動作を制御する制御信号を前記機器に出力する操作手段とを備える車両用操作装置であって、
前記操作手段は、前記操作部位および前記機器の表示画面の明るさを増大させるオン信号と、前記操作部位および前記機器の明るさを低減させるオフ信号とを出力可能であって、前記視線検出手段により検出された視線の対象位置が前記操作部位であることが、所定期間内で検知されなかった場合に前記オフ信号を出力することに加えて、
前記操作手段は、前記視線検出手段により検出された視線の対象位置が前記操作部位以外の位置であって、かつ、前記機器上の位置である場合には、前記オフ信号の出力を禁止することを特徴とする車両用操作装置。