JPWO2012176535A1 - 車載機器操作装置及び報知装置 - Google Patents

車載機器操作装置及び報知装置 Download PDF

Info

Publication number
JPWO2012176535A1
JPWO2012176535A1 JP2013521495A JP2013521495A JPWO2012176535A1 JP WO2012176535 A1 JPWO2012176535 A1 JP WO2012176535A1 JP 2013521495 A JP2013521495 A JP 2013521495A JP 2013521495 A JP2013521495 A JP 2013521495A JP WO2012176535 A1 JPWO2012176535 A1 JP WO2012176535A1
Authority
JP
Japan
Prior art keywords
vehicle
gaze direction
button
occupant
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013521495A
Other languages
English (en)
Other versions
JP5554879B2 (ja
Inventor
高橋 昭夫
昭夫 高橋
信介 植田
信介 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2013521495A priority Critical patent/JP5554879B2/ja
Application granted granted Critical
Publication of JP5554879B2 publication Critical patent/JP5554879B2/ja
Publication of JPWO2012176535A1 publication Critical patent/JPWO2012176535A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/027Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems between relatively movable parts of the vehicle, e.g. between steering wheel and column
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • B60K35/29
    • B60K35/60
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B60K2360/186
    • B60K2360/21
    • B60K2360/782
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215Mirror assemblies combined with other articles, e.g. clocks with information displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1223Mirror assemblies combined with other articles, e.g. clocks with sensors or transducers

Abstract

車載機器操作装置(12)の車載機器特定手段(72、74)は、注視方向検出手段(70)により検出された乗員(100)の注視方向に基づいて車載機器群を特定すると共に、該車載機器群が特定された状態で上下方向選択手段(30、32、34)が操作された場合に、該上下方向選択手段(30、32、34)により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器(20)を特定する。

Description

この発明は、乗員の注視方向等を用いて複数の車載機器を操作可能とする車載機器操作装置及び車両の乗員等の注視方向を報知する報知装置に関する。
特開2010−105417号公報(以下「JP 2010−105417 A」という。)には、車両の運転者が注視する車載機器21をステアリングホイール50に設けられた操作入力手段28により操作可能とする技術が開示されている(要約)。
米国特許出願公開第2010/0324779号公報(以下「US 2010/0324779 A1」という。)には、乗員が操作することを意図する車載機器(サイドミラー21、ルームミラー22、ナビゲーションシステム23、車載電話24、エア吹出し口25、メーターパネル26)を乗員の視線Lにより選択し、共通のステアリングスイッチ16により操作する装置が示されている(要約)。US 2010/0324779 A1では、視線Lが指向する車載機器が操作可能であることをパイロットランプ21a、22a、23a、24a、25a、26aを介して乗員に報知する(要約及び図1)。
JP 2010−105417 Aでは、運転者が注視している車載機器21を特定する必要があるが、例えば、オーディオ機器とエアコンディショナのように車載機器21が近接して配置されている場合、車載機器21の識別において誤判定を生じる可能性があり、システムの信頼性が確保できないおそれがある。また、判定精度を確保するためには高精度の画像処理が必要となるため、高解像度のカメラや高性能の演算装置等を用いる必要があり、高コストになるという問題がある。
US 2010/0324779 A1において、乗員は、視線Lをどの方向にまで向ければ操作を意図する車載機器が選択されるのかを理解することができない。また、乗員が当該車載機器に対して視線Lを真っ直ぐに向けているのにパイロットランプ21a、22a、23a、24a、25a、26aが点灯しない場合、乗員は、どのように対処すればパイロットランプ21a、22a、23a、24a、25a、26aを点灯させることができるのかを知ることができない。
この発明はこのような課題を考慮してなされたものであり、操作対象の車載機器の誤判定を防止すると共に、コストを低減可能な車載機器操作装置を提供することを目的とする。
また、この発明の別の目的は、注視方向による操作対象機器の特定を容易に行うことができるようにすると共に、装置側が検出した注視方向を、乗員等の操作者が認識することが可能な報知装置を提供することである。
この発明に係る車載機器操作装置は、車両に搭載されて前記車両の乗員が操作可能な複数の車載機器と、前記乗員の視線方向又は顔向きに基づいて前記乗員の注視方向を検出する注視方向検出手段と、前記注視方向検出手段により検出された前記注視方向に基づいて前記複数の車載機器のうちいずれかの車載機器を特定する車載機器特定手段と、前記乗員により操作可能に前記車載機器とは異なる場所に設けられる操作手段とを備えるものであって、前記複数の車載機器は、前記車両の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されていると共に、前記車幅方向において所定領域ごとに区切った複数の車載機器群に区分されており、前記操作手段は、前記車載機器群のうち前記上下方向における前記車載機器を選択可能な上下方向選択手段を有し、前記車載機器特定手段は、前記注視方向検出手段により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段が操作された場合に、該上下方向選択手段により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器を特定することを特徴とする。
この発明によれば、乗員の注視方向に基づいて車幅方向の車載機器群を特定すると共に、特定した車載機器群のうちいずれかの車載機器を上下方向選択手段の操作により特定する。従って、乗員は、特定すべきいずれかの車載機器そのものを注視する必要は無く、特定すべきいずれかの車載機器が存在する車載機器群の方向(車幅方向)に視線又は顔を向けるだけでよくなる。このため、車両前方への注意を阻害する要因を低減することが可能になると共に、操作対象の車載機器の誤判定を防止することが可能となる。また、車載機器毎の注視判定が不要となるため、高精度な視線/顔向き検知技術を必要としなくなる。従って、装置全体での高コスト化を防止することが可能となる。
前記上下方向選択手段は、選択可能な前記上下方向のそれぞれに対応して割り当てられた個別の操作スイッチにより構成してもよい。これにより、選択可能な上下方向(=1つの車載機器群に存在する車載機器の数)に対応して個別の操作スイッチが設けられるため、機器選択のための操作時間を短縮することが可能になると共に、操作対象機器を確実に選択することが可能となる。このため、利便性を向上することができる。
前記上下方向選択手段は、前記車載機器特定手段により前記車載機器が特定された状態において、当該特定された車載機器に対する特定の操作入力を行うための操作入力手段を兼ねてもよい。これにより、上下方向選択手段(例えば、機器選択用スイッチ)と操作入力手段(例えば、機器操作用スイッチ)とを共用化することにより操作手段の配置スペース及びコストを低減することが可能となる。また、ブラインド操作の容易化を図ることが可能となる。
前記注視方向検出手段は、前記乗員を含む画像を撮像可能に前記車両の室内に設けられる撮像手段と、前記撮像手段により撮像された前記画像に基づいて前記車幅方向における前記乗員の顔向き角度を検出する顔向き角度検出手段とを備え、前記顔向き角度検出手段により検出された前記顔向き角度に基づいて前記乗員の注視方向を検出してもよい。これにより、車幅方向の顔向き角度を画像処理から求めれば良いため、瞳孔の輝点検出等を用いる視線検知を行うための高精度な画像処理や赤外発光ダイオード(LED)等のデバイスが不要となり、より一層の低コスト化を図ることが可能となる。
前記上下方向選択手段は、前記車両のステアリングホイールに設けられる十字スイッチとして構成されると共に、前記選択可能な上下方向が前記ステアリングホイールの正面視における前記十字スイッチの上下方向に対応して割り当てられてもよい。このような十字スイッチを用いることによりステアリングホイールから手を離さずに車載機器を操作可能であるため利便性が向上する。加えて、選択可能な方向が十字キーの上下位置に対応しているため、より直感的に車載機器を選択することができ、ブラインド操作の更なる容易化を図ることが可能となる。
前記車載機器特定手段により特定された前記車載機器群を表示する表示手段が、前記車載機器群ごとに設けられてもよい。これにより、車載機器群を特定する精度を確保(車両の状態と乗員の認識とのずれを防止)しつつ、車載機器全てに対応するように表示手段を設ける場合に比べて低コスト化を図ることができる。
この発明に係る報知装置は、車両に搭載されて前記車両の乗員が操作可能な複数の車載機器と、前記乗員の視線方向又は顔向きに基づいて前記乗員の注視方向を検出する注視方向検出手段と、前記車両の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されている前記複数の車載機器が前記車幅方向において所定領域ごとに区切られた複数の車載機器群の中から、前記注視方向検出手段により検出された前記注視方向に基づいて、いずれかの車載機器群を特定する車載機器特定手段と、前記車載機器特定手段により特定された前記車載機器群を報知する報知手段とを備え、前記報知手段は、それぞれの前記所定領域の幅と同等の幅を有し、前記車両のインストルメントパネルにおいて前記車幅方向に並べて配置されていることを特徴とする。
この発明によれば、車幅方向における複数の車載機器群のうち乗員の注視方向に基づいて特定されたものを、報知手段を用いて報知する。報知手段は、車幅方向において各車載機器群に対応する所定領域の幅と同等の幅を有し、インストルメントパネルにおいて車幅方向に並べて配置されている。従って、乗員は、所定領域の境界及び幅を視覚的に認識すると共に、特定されている車載機器群の切り替わりを認識することが可能となり、最小限の視線又は顔向きの変化で車幅方向における車載機器の特定を容易に行うことが可能となる。
また、乗員が意図している注視方向と、報知装置が検出した注視方向との間にずれが生じている場合でも、検出した注視方向を報知する報知手段が存在することにより、乗員は当該ずれを認識し、注視方向を適宜調整することが可能となる。
さらに、乗員の視線方向又は顔向きを車幅方向における車載機器群の特定のみに用いる場合(例えば、上下方向の特定は、別の選択装置を用いる場合)、視線方向又は顔向きの検出は、車幅方向のみでよくなる。これにより、車幅方向以外の方向(例えば、上下方向)における視線方向又は顔向きの検出を不要とすることができ、視線方向又は顔向きの検出処理を軽減することなどが可能となる。
前記所定領域の境界線は、前記車載機器特定手段により前記車載機器群が特定されていなくても前記報知手段が報知してもよい。これにより、乗員が確実に境界線を理解でき、どの幅領域に視線又は顔向きを変化させれば、特定の車載機器群を選択できるかを理解することが可能となる。
前記報知装置は、さらに、前記車載機器とは異なる場所において前記乗員により操作可能に設けられる操作手段を備え、前記操作手段は、前記車載機器群のうち前記上下方向における前記車載機器を選択可能な上下方向選択手段を有し、前記車載機器特定手段は、前記注視方向検出手段により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器を特定し、前記報知手段は、前記車載機器特定手段によって特定された前記車載機器によって報知方法が変更されてもよい。これにより、乗員は、1つの車載機器群の中でいずれの車載機器が選択されているかを直ぐに理解することができる。
前記報知手段は、前記幅を調整可能であってもよい。これにより、注視方向検出手段により検出される注視方向と実際の注視方向がずれていたとしても調整することができ、実際の注視方向に沿った違和感のない注視方向の検出が可能となる。
この発明に係る報知装置は、車両において車幅方向に配置された複数の車載機器と、前記乗員の視線方向及び顔向きの少なくとも一方に基づいて前記車幅方向における前記乗員の注視方向を検出する注視方向検出部と、前記複数の車載機器から前記注視方向に対応する1つ以上の前記車載機器を特定する車載機器特定部と、前記注視方向の検出可能範囲であり且つ前記車幅方向において前記複数の車載機器に応じて設定された複数の注視可能領域のうち、検出された前記注視方向又は特定された前記1つ以上の車載機器に対応する注視可能領域を視覚的に報知する報知部とを備え、前記報知部は、フロントウィンドウの下部若しくは上部又はそれらの周囲において前記複数の注視可能領域ごとに前記車幅方向に沿って連続的又は断続的に設けられて、隣り合う注視可能領域の境界を示す複数のインジケータを有することを特徴とする。
この発明によれば、検出された注視方向又は特定された1つ以上の車載機器に対応する注視可能領域を視覚的に報知する複数のインジケータを備える。当該複数のインジケータは、フロントウィンドウの下部若しくは上部又はそれらの周囲において複数の注視可能領域ごとに車幅方向に沿って連続的又は断続的に設けられて、隣り合う注視可能領域の境界を示す。従って、乗員は、注視可能領域の境界及び幅を視覚的に認識すると共に、選択されている注視可能領域の切り替わりを認識することが可能となり、最小限の視線又は顔向きの変化で車幅方向における車載機器の特定を確実に行うことが可能となる。
また、乗員が意図している注視方向と、報知装置が検出した注視方向との間にずれが生じている場合でも、検出した注視方向を視覚的に示す複数のインジケータが存在することにより、乗員は当該ずれを認識し、注視方向を適宜調整することが可能となる。
さらに、乗員の視線方向又は顔向きを車幅方向における1つ以上の車載機器の特定のみに用いる場合(例えば、上下方向の特定は、別の選択装置を用いる場合)、視線方向又は顔向きの検出は、車幅方向のみでよくなる。これにより、車幅方向以外の方向(例えば、上下方向)における視線方向又は顔向きの検出を不要とすることができ、視線方向又は顔向きの検出処理を軽減することなどが可能となる。
この発明の一実施形態に係る車載機器操作装置(報知装置)を搭載した車両の全体ブロック図である。 前記車両のフロントウィンドウ周辺の外観図である。 前記車両のステアリングホイールの外観正面図である。 前記車両のドアミラーの外観斜視図である。 前記フロントウィンドウ周辺を5つの領域に区切った状態を示す図である。 オーディオ装置の音量を変える場合の運転者の第1動作例を示す図である。 前記オーディオ装置の音量を変える場合の運転者の第2動作例を示す図である。 前記オーディオ装置の音量を変える場合の運転者の第3動作例を示す図である。 ヘッドアップディスプレイ(HUD)を表示し、車速や燃費を確認する場合の運転者の第1動作例を示す図である。 前記HUDを表示し、車速や燃費を確認する場合の運転者の第2動作例を示す図である。 前記HUDを表示し、車速や燃費を確認する場合の運転者の第3動作例を示す図である。 助手席側ウィンドウを開閉する場合の運転者の第1動作例を示す図である。 前記助手席側ウィンドウを開閉する場合の運転者の第2動作例を示す図である。 前記助手席側ウィンドウを開閉する場合の運転者の第3動作例を示す図である。 各車載機器の選択方法と操作方法の一覧を表示する図である。 各機能のボタン割当一覧を表示する図である。 インジケータ間の境界線を調整すると共に、各車載機器を選択又は操作するフローチャートである。 前記境界線の調整前後の様子を示す説明図である。 境界線調整開始処理(図11のS4)のフローチャートである。 前記境界線の調整の開始前から開始に至る際の表示器の状態変化の一例を示す図である。 境界線調整処理(図11のS5)のフローチャートである。 前記境界線の調整方法を説明する図である。 前記境界線の調整中から調整終了時に致る際の前記表示器の状態変化の一例を示す図である。 通常処理(図11のS6)のフローチャートである。 注視方向の検出が正常に行われている状態の一例を示す図である。 注視方向の検出ができない状態の一例を示す図である。 注視方向の検出が誤って行われている状態の一例を示す図である。 前記ECUが操作対象機器を選択するフローチャートである。 運転者の注視方向が中央方向である場合に操作対象機器を選択するフローチャートである。 運転者の注視方向が正面方向である場合に操作対象機器を選択するフローチャートである。 運転者の注視方向が右方向である場合に操作対象機器を選択するフローチャートである。 運転者の注視方向が左方向である場合に操作対象機器を選択するフローチャートである。 前記ECUが操作対象機器を操作するフローチャートである。 ナビゲーション装置の操作を行うフローチャートである。 オーディオ装置の操作を行うフローチャートである。 エアコンディショナの操作を行うフローチャートである。 HUDの操作を行うフローチャートである。 ハザードランプの操作を行うフローチャートである。 運転者用のシートの操作を行うフローチャートである。 後方ライトの操作を行うフローチャートである。 運転席側ウィンドウの操作を行うフローチャートである。 助手席側ウィンドウの操作を行うフローチャートである。 図5の変形例として、フロントウィンドウ周辺を3つの領域に区切った状態を示す図である。 前記実施形態におけるインジケータの代わりにパイロットランプを用いた構成を示す図である。
1.全体的な構成の説明
[1−1.全体構成]
図1は、この発明の一実施形態に係る車載機器操作装置12(以下「操作装置12」ともいう。)を搭載した車両10の全体ブロック図である。図2は、車両10のフロントウィンドウ11周辺の外観図である。図1及び図2に示すように、操作装置12は、乗員カメラ14と、ステアリングホイール16に設けられた十字キー18と、複数の車載機器20と、注視方向表示器22(以下「表示器22」ともいう。)と、電子制御装置24(以下「ECU24」という。)とを有する。図2からもわかるように、本実施形態の車両10は、いわゆる右ハンドル車である。代わりに、左ハンドル車であっても同様の構成を採用することができる。
[1−2.乗員カメラ14]
図2に示すように、乗員カメラ14は、図示しないステアリングコラムにおいて運転者の正面に設置され、運転者の顔の画像(以下「顔画像」という。)を取得する。乗員カメラ14の位置は、これに限らず、例えば、バックミラー25(図2)の周辺に配置してもよい。また、乗員カメラ14は、単一の方向から撮像するものに限らず、複数の方向から撮像するもの(いわゆるステレオカメラ)であってもよい。
[1−3.十字キー18]
運転者は、十字キー18を用いて操作対象となる車載機器20(以下「操作対象機器」という。)の特定及び特定した車載機器20の操作入力を行うことができる。図3に示すように、十字キー18は、中央ボタン30、上ボタン32、下ボタン34、左ボタン36及び右ボタン38を有する。なお、図2における十字キー18は、拡大して表示されている。十字キー18の操作方法については、後述する。
[1−4.複数の車載機器20]
本実施形態において、複数の車載機器20(図1)には、ナビゲーション装置40と、オーディオ装置42と、エアコンディショナ44と、ヘッドアップディスプレイ46(以下「HUD46」という。)と、ハザードランプ48と、運転者用のシート50と、ドアミラー52と、後方ライト54と、運転席側ウィンドウ56と、助手席側ウィンドウ58とが含まれる。
図4に示すように、後方ライト54はドアミラー52下部にある発光ダイオード(LED)で車両10の側面後方を照らすものである。
[1−5.注視方向表示器22]
図2に示すように、表示器22は、フロントウィンドウ11の下部周辺においてインストルメントパネル59に設けられている。後述するように、表示器22は、別の位置に設けることもできる。また、表示器22は、車幅方向における運転者(乗員)の注視方向を示す複数の注視方向インジケータ26a〜26e(以下「インジケータ26a〜26e」といい、「インジケータ26」と総称する。)を有する。各インジケータ26a〜26eは、例えば、発光ダイオード(LED)等の照明装置から構成される。或いは、HUD46を表示器22に対応する位置にも設けることで、HUD46により各インジケータ26a〜26eを構成することもできる。さらに、各インジケータ26a〜26eは、複数の色(例えば、青、緑、黄及び赤)を表示可能であるが、単色のみの表示であってもよい。
本実施形態では、運転者の注視方向に対応するインジケータ26a〜26eのいずれかが点灯し、その他のインジケータ26a〜26eは消灯する。このため、運転者は、操作装置12が検出した注視方向を把握することができる。
また、隣り合うインジケータ26a〜26eの間には、境界線28a〜28d(以下「境界線28」と総称する。)(図14参照)が配置される。本実施形態において、境界線28a〜28dは、インジケータ26a〜26eと同様、例えば、LED等の照明装置から構成される。換言すると、表示器22全体でLED等の照明素子を複数並べたものを、インジケータ26a〜26e及び境界線28a〜28dとして用いることができる。なお、境界線28a〜28d自体は発光させない構成、又は境界線28a〜28dを設けない構成も可能である。
[1−6.ECU24]
ECU24は、車載機器操作装置12(本実施形態では、特に、各車載機器20)を制御するものであり、図1に示すように、入出力装置60、演算装置62及び記憶装置64を備える。演算装置62は、注視方向検出機能70と、車載機器群特定機能72と、個別車載機器特定機能74と、車載機器制御機能76とを備える。
本実施形態では、これらの機能70、72、74、76を用いることにより、各車載機器20を簡易に制御することができる。すなわち、運転者は、操作対象とする車載機器20(以下「操作対象機器」という。)が存在する車幅方向に視線又は顔を向けると共に、十字キー18を操作することにより、操作対象機器を制御することが可能である。なお、後述するように、その他の方法により操作対象機器を特定及び制御することもできる。
注視方向検出機能70は、運転者(乗員)の顔向き及び視線方向(眼球向き)の少なくとも一方に基づいて、運転者の注視方向を検出する機能である。車載機器群特定機能72は、注視方向検出機能70により検出した注視方向に存在する車載機器群(グループA〜D)を特定する機能である。個別車載機器特定機能74は、車載機器群特定機能72に特定された車載機器群に含まれる複数の車載機器20の中から運転者の操作に応じて操作対象機器を特定する機能である。車載機器制御機能76は、個別車載機器特定機能74により特定された操作対象機器を、運転者の操作入力に応じて制御する機能である。
2.本実施形態の制御の概要
上記のように、本実施形態では、運転者は、操作対象機器が存在する車幅方向に視線又は顔を向けると共に、十字キー18を操作することにより、操作対象機器を制御することが可能である。
当該制御を実現するため、本実施形態では、まず乗員カメラ14が撮像した運転者の顔画像に基づいて顔向き及び視線方向を検出し、これらに基づいて車幅方向における注視方向を判定する。その後、十字キー18の操作に基づいて高さ方向(上下方向)を特定する。これにより、操作対象機器を特定する。
本実施形態において、車幅方向における注視方向としては、図5に示す5つの方向を設定している。すなわち、フロントウィンドウ11周辺を5つの領域A1〜A5に区切っている。より具体的には、中央方向の領域A1、正面方向の領域A2、右方向の領域A3、左方向の領域A4及びその他の方向の領域A5である。これらの各方向(グループA〜D)に対し、各車載機器20が割り当てられている。
中央方向の領域A1には、ナビゲーション装置40、オーディオ装置42及びエアコンディショナ44(グループA)が割り当てられている。なお、図5等において、「ナビ」は「ナビゲーション装置」を意味し、「オーディオ」は「オーディオ装置」を意味し、「エアコン」は「エアコンディショナ」を意味する。
正面方向の領域A2には、HUD46、ハザードランプ48及びシート50(グループB)が割り当てられている。なお、図5等において、「ハザード」は「ハザードランプ」を意味する。右方向の領域A3には、ドアミラー52、後方ライト54及び運転席側ウィンドウ56(グループC)が割り当てられ、左方向の領域A4には、ドアミラー52、後方ライト54及び助手席側ウィンドウ58(グループD)が割り当てられている。その他の方向の領域A5には何らの車載機器20も割り当てられていない。なお、本実施形態では、左右のドアミラー52は同時に展開及び格納させる。また、左右の後方ライト54は同時に操作する。
ECU24(注視方向検出機能70)は、乗員カメラ14からの顔画像に基づき、顔向き及び視線方向(眼球の相対位置)を検出し、これらを用いて運転者の注視方向を判定する。注視方向の判定は、顔向き又は視線方向の一方のみから行うこともできる。そして、ECU24(車載機器群特定機能72)は、判定した注視方向に基づいて車載機器群(グループA〜D)を特定する。次いで、十字キー18のうち押し下げられたボタン(ボタン30、32、34、36、38のいずれか)に応じて、操作対象機器を特定する。その後、十字キー18の操作に応じて操作対象機器を操作する。
3.本実施形態における操作対象機器の選択方法と動作例
[3−1.オーディオ装置42の音量を変える場合]
図6A〜図6Cは、オーディオ装置42の音量を変える場合の運転者100の第1〜第3動作例を示す。まず、図6Aに示すように、運転者100は、5つの領域A1〜A5のうち、オーディオ装置42のある領域A1(中央方向)を見る又は顔を向ける。これにより、ECU24は、後述する注視方向判定技術を用いて車載機器群(グループA)を特定する。なお、図6A中の矢印Xは、運転者100の注視方向を示している(その他の図においても同様である。)。また、ECU24は、判定した注視方向X{又は特定した車載機器群(グループA)}に対応するインジケータ26aを点灯させる。この段階では、注視方向Xが変化すると点灯するインジケータ26a〜26eも切り替わり、インジケータ26a〜26eは操作対象機器が特定されていないことを示す色(例えば、緑色)で点灯する。
図6Bにおいて、運転者100は、各車載機器20の位置関係(上から、ナビゲーション装置40、オーディオ装置42及びエアコンディショナ44)に対応した位置にある十字キー18を押し下げ、操作対象機器を決定する。すなわち、十字キー18のうちオーディオ装置42に対応するのは中央ボタン30なので、運転者100は、中央ボタン30を押し下げる。これにより、グループAが選択され、その後の注視方向Xにかかわらず中央のインジケータ26aが点灯し続ける。また、インジケータ26aの色は、選択した操作対象機器に応じて変化する。例えば、ナビゲーション装置40は青色、オーディオ装置42は黄色、エアコンディショナ44は赤色とする。従って、オーディオ装置42が選択された場合、インジケータ26aは黄色で表示される。
図6Cにおいて、運転者100は、十字キー18を操作することで、オーディオ装置42の音量を調整する。すなわち、上ボタン32を押す度に音量レベルが1増加し、下ボタン34を押す度に音量レベルが1減少する。この際、運転者100は、対象領域(グループAに対応する中央方向の領域A1)や車載機器20(ここでは、オーディオ装置42)を見る必要はなく、前方を見ながらでも操作対象機器(オーディオ装置42)の操作が可能である。オーディオ装置42を操作している間は、オーディオ装置42に対応するインジケータ26aが、オーディオ装置42に対応する色(黄色)で点灯し続ける。オーディオ装置42の操作を終了するには、中央ボタン30を押し下げる。オーディオ装置42の操作が終了すると、新たに検出された注視方向Xに応じたインジケータ26a〜26eが緑色(操作対象機器が特定されていないことを示す色)で点灯する。
[3−2.HUD46を表示し、車速や燃費を確認する場合]
図7A〜図7Cは、HUD46を表示し、車速や燃費を確認する場合の運転者100の第1〜第3動作例を示す。まず、図7Aに示すように、運転者100は、5つの領域A1〜A5のうち、HUD46のある領域A2(正面方向)を見る又は顔を向ける。これにより、ECU24は、注視方向判定技術を用いて車載機器群B(グループB)を特定する。また、ECU24は、判定した注視方向X{又は特定した車載機器群(グループB)}に対応するインジケータ26bを緑色(操作対象機器が特定されていないことを示す色)で点灯させる。
図7Bにおいて、運転者100は、各車載機器20の位置関係(上から、HUD46、ハザードランプ48及びシート50)に対応した位置にある十字キー18を押し下げ、操作対象機器を決定する。すなわち、十字キー18のうちHUD46に対応するのは上ボタン32なので、運転者100は、上ボタン32を押し下げる。これにより、その後の注視方向Xにかかわらず正面のインジケータ26bが点灯し続ける。また、インジケータ26bの色は、選択した操作対象機器に対応する色となる。例えば、HUD46は青色、ハザードランプ48は黄色、シート50は赤色とする。従って、HUD46が選択された場合、インジケータ26bは青色で表示される。
図7Cにおいて、運転者100は、十字キー18を操作することで、HUD46の表示を切り替える。すなわち、上ボタン32を押す度に、HUD46の表示が、車速110→走行距離112→燃費114→車速110の順に切り替わる。反対に、下ボタン34を押す度に、HUD46の表示が、車速110→燃費114→走行距離112→車速110の順に切り替わる。車速110、走行距離112及び燃費114以外の表示(例えば、ガソリン量、バッテリの残容量又は走行可能距離)を行ってもよい。この際、運転者100は、対象領域(グループBに対応する正面方向の領域A2)や車載機器20(ここでは、HUD46)を見る必要はなく、前方を見ながらでもHUD46の操作が可能である。
また、HUD46を操作している間は、HUD46に対応するインジケータ26bが、HUD46に対応する色(青色)で点灯し続ける。HUD46の操作を終了するには、中央ボタン30を押し下げる。HUD46の操作が終了すると、新たに検出された注視方向Xに応じたインジケータ26a〜26eが緑色(操作対象機器が特定されていないことを示す色)で点灯する。
[3−3.助手席側ウィンドウ58を開閉する場合]
図8A〜図8Cは、助手席側ウィンドウ58を開閉する場合の運転者100の第1〜第3動作例を示す。まず、図8Aに示すように、運転者100は、5つの領域A1〜A5のうち、助手席側ウィンドウ58のある領域A4(左方向)を見る又は顔を向ける。これにより、注視方向判定技術を用いて車載機器群D(グループD)を特定する。また、ECU24は、判定した注視方向X{又は特定した車載機器群(グループD)}に対応するインジケータ26dを緑色(操作対象機器が特定されていないことを示す色)で点灯させる。
図8Bにおいて、運転者100は、各車載機器20の位置関係(上から、ドアミラー52、後方ライト54及び助手席側ウィンドウ58)に対応した位置にある十字キー18を押し下げ、操作対象機器を決定する。すなわち、十字キー18のうち助手席側ウィンドウ58に対応するのは上ボタン32及び下ボタン34なので、運転者100は、上ボタン32又は下ボタン34を押し下げる。これにより、その後の注視方向Xにかかわらず左側のインジケータ26dが点灯し続ける。また、インジケータ26dの色は、選択した操作対象機器に対応する色となる。例えば、ドアミラー52は青色、後方ライト54は黄色、助手席側ウィンドウ58は赤色とする。従って、助手席側ウィンドウ58が選択された場合、インジケータ26dは赤色で表示される。
なお、ドアミラー52及び後方ライト54の位置関係は上下に存在するが、助手席側ウィンドウ58については基準位置をどこに置くかにより、ドアミラー52及び後方ライト54との上下関係が逆転する。ここでは、助手席側ウィンドウ58の図示しない駆動部の位置を基準としたが、別の場所を基準位置とすることもできる。これに伴い、ドアミラー52、後方ライト54及び助手席側ウィンドウ58と各ボタンの対応関係は変更してもよい。但し、通常、ドアミラー52の展開及び格納が略水平方向に行われるのに対し、助手席側ウィンドウ58の開閉が略垂直方向に行われるため、それぞれの可動方向を考慮すると、ドアミラー52に左ボタン36及び右ボタン38を割り当て、助手席側ウィンドウ58に上ボタン32及び下ボタン34を割り当てる方が直感的な操作を行い易い。
図8Cにおいて、運転者100は、十字キー18を操作することで、助手席側ウィンドウ58を開閉する。すなわち、下ボタン34を押す度に、助手席側ウィンドウ58が開き、上ボタン32を押す度に、助手席側ウィンドウ58が閉じる。この際、運転者100は、車載機器20(ここでは、助手席側ウィンドウ58)を見る必要はなく、前方を見ながらでも操作対象機器(助手席側ウィンドウ58)の操作が可能である。
また、助手席側ウィンドウ58を操作している間は、助手席側ウィンドウ58に対応するインジケータ26dが、助手席側ウィンドウ58に対応する色(赤色)で点灯し続ける。助手席側ウィンドウ58の操作を終了するには、中央ボタン30を押し下げる。助手席側ウィンドウ58の操作が終了すると、新たに検出された注視方向Xに応じたインジケータ26a〜26eが緑色(操作対象機器が特定されていないことを示す色)で点灯する。
4.車載機器20の選択方法と動作方法のまとめ
図9は、各車載機器20の選択方法と操作方法の一覧を表示し、図10は、各機能のボタン割当一覧を表示する。運転者100は、図9及び図10に沿った操作をすることにより、操作対象機器を簡易に操作することができる。
5.具体的なフローチャート
[5−1.全体フロー]
図11は、各インジケータ26a〜26e間の境界線28a〜28dを調整すると共に、各車載機器20を選択又は操作するフローチャートである。ステップS1において、ECU24は、乗員カメラ14が取得した運転者100の顔画像に基づいて運転者100の注視方向Xを検出する。
ステップS2において、ECU24は、各インジケータ26a〜26eの境界線28a〜28dを調整中であるか否かを判定する。具体的には、ECU24は、境界線28a〜28dを調整中であるか否かを示すフラグFLGが1であるか否かを判定する。フラグFLGは、0であるとき、境界線28a〜28dを調整中でないことを示し、1であるとき、境界線28a〜28dを調整中であることを示す。
境界線28a〜28dを調整中でない場合(S2:NO)、ステップS3において、ECU24は、境界線28a〜28dの調整を開始するか否かを判定する。具体的には、ECU24は、中央ボタン30が所定時間(例えば、2〜5秒間の範囲におけるいずれかの時間)長押しされたか否かを判定する。境界線28a〜28dの調整を開始する場合(S3:YES)、ステップS4において、ECU24は、境界線調整開始処理を実行する。境界線28a〜28dの調整を開始しない場合(S3:NO)、ステップS6において、ECU24は、通常処理を実行する。
ステップS2において、境界線28a〜28dを調整中である場合(S2:YES)、ステップS5において、ECU24は、境界線調整処理を実行する。
[5−2.運転者100の注視方向Xの検知(図11のS1)]
運転者100の視線方向の検知は、例えば、JP 2010−105417 Aに記載の方法を用いて行うことができる(例えば、段落[0014]〜[0016]参照)。
運転者の顔向きの検知は、例えば、次のような方法により行うことができる。すなわち、ECU24(注視方向検出機能70)は、乗員カメラ14から出力された顔画像に基づき、顔中心位置と、左右の顔端位置を検出する。そして、これらの検出結果に基づき、例えば、人の顔をシリンダ形状に近似して顔向きを算出する(シリンダ法)。なお、ここでの顔向きは、広義の意味で用いられており、頭の正面側のみならずその他の部分(例えば、後頭部)を含んでもよい。
[5−3.境界線28a〜28dの調整(図11のS4、S5)]
(5−3−1.概要)
図12は、境界線28a〜28dの調整前後の様子を示す説明図である。図12に示すように、本実施形態では、境界線28a〜28dを調整することにより、インジケータ26a〜26eの位置を調整することが可能である。この際、境界線28a〜28dの調整を行っても、各領域A1〜A5の位置はそのままの状態で各領域A1〜A5と各インジケータ26a〜26eとが対応付けられる。従って、境界線28a〜28dの調整により、操作装置12が検出した注視方向Xと、運転者100が意図する注視方向Xとの間にずれが生じている場合であっても、実際の注視方向Xに沿った違和感のない注視方向Xの検出が可能となる。
(5−3−2.境界線調整開始処理)
図13は、境界線調整開始処理(図11のS4)のフローチャートである。図14は、境界線28a〜28dの調整の開始前から開始に至る際の表示器22の状態変化の一例を示す図である。
図13のステップS11において、ECU24は、フラグFLGに1を設定する。上記のように、フラグFLGが1であるとき、境界線28a〜28dの調整中であることを示す。
ステップS12において、ECU24は、運転者100の注視方向Xにかかわらず、中央のインジケータ26aを、通常の表示色(例えば、緑色)とは異なる色(例えば、青色)に変化させて点灯させる(図14参照)。なお、本実施形態において、ECU24は、車載機器群(グループA〜D)を特定していない場合でも境界線28a〜28dを点灯させる。
ステップS13において、ECU24は、車両10の進行方向に向かって左端の境界線28cを強調表示する。ここでの強調表示としては、例えば、通常の表示色(例えば、青色)とは異なる色(例えば、黄色)に変化させて点灯することができる。或いは、境界線28cの幅を通常時よりも太くしてもよい。或いは、境界線28cの輝度を通常時よりも高くすることもできる。もちろん、これらの強調方法を併用することも可能である。
(5−3−3.境界線調整処理)
図15は、境界線調整処理(図11のS5)のフローチャートである。図16は、境界線28a〜28dの調整方法を説明する図である。図17は、境界線28a〜28dの調整中から調整終了時に致る際の表示器22の状態変化の一例を示す図である。
ステップS21において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34、左ボタン36又は右ボタン38のいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS22において、ECU24は、調整する境界線28a〜28dを選択する。すなわち、上ボタン32が押し下げられている場合、調整対象の境界線28a〜28dを右方向に切り替える(図16参照)。例えば、調整対象の境界線28a〜28dが左端の境界線28cであるときに上ボタン32を押し下げると、その右側の境界線28dが選択される。下ボタン34が押し下げられている場合、調整対象の境界線28a〜28dを左方向に切り替える。例えば、調整対象の境界線28a〜28dが左端の境界線28cであるときに下ボタン34を押し下げると、その左側には境界線28a〜28dが存在しないため、右端の境界線28bが選択される。
押し下げられたボタンが左ボタン36又は右ボタン38である場合、ステップS23において、ECU24は、調整対象の境界線28a〜28dの位置を調整する。すなわち、左ボタン36が押し下げられている場合、調整対象の境界線28a〜28dを左に1単位ずつずらす(図16参照)。右ボタン38が押し下げられている場合、調整対象の境界線28a〜28dを右に1単位ずつずらす。なお、図16に示すように、各境界線28a〜28dには、調整可能範囲が存在する。このため、調整可能範囲を超えるように各境界線28a〜28dをずらすことはできない。
押し下げられたボタンが中央ボタン30である場合、ステップS24において、ECU24は、注視方向Xに応じたインジケータ26a〜26eを通常の表示色(緑色)に戻して点灯させると共に、ステップS25において、ECU24は、調整対象の境界線28a〜28dの強調表示を終了する(図17参照)。ステップS26において、ECU24は、フラグFLGに0を設定する。上記のように、フラグFLGが0であるとき、境界線28a〜28dの調整を行っていないことを示す。
[5−4.通常処理(図11のS6)の全体]
図18は、通常処理(図11のS6)のフローチャートである。ステップS31において、ECU24は、図11のステップS1において、注視方向Xを検出できているか否かを判定する。注視方向Xを検出できている場合(S31:YES)、ステップS32において、ECU24は、注視方向Xに対応するインジケータ26a〜26eを点灯させる。注視方向Xを検出できていない場合(S31:NO)、ステップS33において、ECU24は、各インジケータ26a〜26eを消灯させる。
図19A〜図19Cは、インジケータ26a〜26eの点灯又は消灯に伴う効果を説明する第1〜第3説明図である。図19Aに示すように、運転者100の注視方向Xと点灯するインジケータ26aとが対応している場合、運転者100は、注視方向Xによる車載機器群の選択が正常に行われていることを知ることができる。
図19Bに示すように、運転者100が、例えば、サングラス80をしていることにより視線方向が検出できず、また、マスク82をしていることにより顔向きが検出できず、その結果、運転者100の注視方向Xが検出できない場合、いずれのインジケータ26a〜26eも点灯しない。このため、運転者100は、注視方向Xの検出ができていないことを知ることができる。従って、運転者100は、サングラス80又はマスク82を外す必要性を認識することが可能となる。
図19Cに示すように、運転者100の注視方向Xと点灯するインジケータ26bとが対応していない場合、運転者100は、注視方向Xによる車載機器群の選択が誤って行われていることを知ることができる。この場合、運転者100は、上述した境界線28a〜28dの調整を行うべきこと又は自己の注視方向Xを修正すべきこと(図19Cの場合、より左側を向くべきこと)を認識することが可能となる。
図18に戻り、ステップS34において、ECU24は、十字キー18のいずれかのボタンが押し下げられたか否かを判定する。いずれのボタンも押し下げられていない場合(S34:NO)、今回の処理を終える。いずれかのボタンが押し下げられた場合(S34:YES)、ステップS35において、ECU24は、現在、操作対象機器が選択中であるか否かを判定する。操作対象機器が選択中でない場合(S35:NO)、ステップS36において、ECU24は、図11のステップS1において、注視方向Xを検出できているか否かを判定する。注視方向Xを検出できている場合(S36:YES)、ステップS37において、ECU24は、運転者100による操作に応じて操作対象機器を選択する。注視方向Xを検出できていない場合(S36:NO)、今回の処理を終える。
ステップS35において操作対象機器が選択中である場合(S35:YES)、ステップS38において、ECU24は、操作対象機器に応じて点灯するインジケータ26a〜26e及びその色を設定する。ステップS39において、ECU24は、運転者100による操作に応じて操作対象機器を操作する。
[5−5.操作対象機器の選択(図18のS37)]
(5−5−1.概要)
図20は、ECU24が操作対象機器を選択するフローチャート(図18のS37の詳細)である。ステップS111において、ECU24は、図11のステップS1で特定した運転者100の注視方向Xが、中央、正面、右、左又はその他のいずれであるかを確認する。
運転者100の注視方向Xが中央方向(領域A1)である場合、ステップS112において、ECU24は、中央方向の車載機器群、すなわち、ナビゲーション装置40、オーディオ装置42及びエアコンディショナ44からなるグループAを特定し、グループAの中から操作対象機器を選択する。
運転者100の注視方向Xが正面方向(領域A2)である場合、ステップS113において、ECU24は、正面方向の車載機器群、すなわち、HUD46、ハザードランプ48及びシート50からなるグループBを特定し、グループBの中から操作対象機器を選択する。
運転者100の注視方向Xが右方向(領域A3)である場合、ステップS114において、ECU24は、右方向の車載機器群、すなわち、ドアミラー52、後方ライト54及び運転席側ウィンドウ56からなるグループCを特定し、グループCの中から操作対象機器を選択する。
運転者100の注視方向Xが左方向(領域A4)である場合、ステップS115において、ECU24は、左方向の車載機器群、すなわち、ドアミラー52、後方ライト54及び助手席側ウィンドウ58からなるグループDを特定し、グループDの中から操作対象機器を選択する。
運転者100の注視方向Xがその他の方向(領域A5)である場合、ECU24は、いずれの車載機器20も選択せずに今回の処理を終える。
(5−5−2.中央方向)
図21は、運転者100の注視方向Xが中央方向(領域A1)である場合に操作対象機器を選択するフローチャート(図20のS112の詳細)である。ステップS121において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34又はその他のいずれであるかを判定する。
押し下げられたボタンが上ボタン32である場合、ステップS122において、ECU24は、ナビゲーション装置40を選択し、中央のインジケータ26aを点灯させる。続くステップS123において、ECU24は、ナビゲーション装置40を操作対象機器として設定する。
押し下げられたボタンが中央ボタン30である場合、ステップS124において、ECU24は、オーディオ装置42を選択し、中央のインジケータ26aを点灯させる。続くステップS125において、ECU24は、オーディオ装置42を操作対象機器として設定する。
押し下げられたボタンが下ボタン34である場合、ステップS126において、ECU24は、エアコンディショナ44を選択し、中央のインジケータ26aを点灯させる。続くステップS127において、ECU24は、エアコンディショナ44を操作対象機器として設定する。
押し下げられたボタンが上ボタン32、中央ボタン30及び下ボタン34のいずれでもない場合、ECU24は、今回の処理を終える。
(5−5−3.正面方向)
図22は、運転者100の注視方向Xが正面方向(領域A2)である場合に操作対象機器を選択するフローチャート(図20のS113の詳細)である。ステップS131において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34又はその他のいずれであるかを判定する。
押し下げられたボタンが上ボタン32である場合、ステップS132において、ECU24は、HUD46を選択し、正面のインジケータ26bを点灯させる。続くステップS133において、ECU24は、HUD46をオンにする。これにより、フロントウィンドウ11にHUD46が表示される。ステップS134において、ECU24は、HUD46を操作対象機器として設定する。
押し下げられたボタンが中央ボタン30である場合、ステップS135において、ECU24は、ハザードランプ48を選択し、正面のインジケータ26bを点灯させる。続くステップS136において、ECU24は、ハザードランプ48を点滅させる。ステップS137において、ECU24は、ハザードランプ48を操作対象機器として設定する。
押し下げられたボタンが下ボタン34である場合、ステップS138において、ECU24は、シート50を選択し、正面のインジケータ26bを点灯させる。続くステップS139において、ECU24は、シート50を操作対象機器として設定する。
押し下げられたボタンが上ボタン32、中央ボタン30及び下ボタン34のいずれでもない場合、ECU24は、今回の処理を終える。
(5−5−4.右方向)
図23は、運転者100の注視方向Xが右方向(領域A3)である場合に操作対象機器を選択するフローチャート(図20のS114の詳細)である。ステップS141において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34、左ボタン36又は右ボタン38のいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS142において、ECU24は、運転席側ウィンドウ56を選択し、右側のインジケータ26cを点灯させる。続くステップS143において、ECU24は、運転席側ウィンドウ56を開閉する。すなわち、下ボタン34が押し下げられている場合、運転席側ウィンドウ56を開き、上ボタン32が押し下げられている場合、運転席側ウィンドウ56を閉じる。ステップS144において、ECU24は、運転席側ウィンドウ56を操作対象機器として設定する。
押し下げられたボタンが左ボタン36である場合、ステップS145において、ECU24は、ドアミラー52の状態(展開又は格納)を確認する。ドアミラー52が格納状態である場合、今回の処理を終える。ドアミラー52が展開状態である場合、ステップS146において、ECU24は、左右両方のドアミラー52を選択し、右側のインジケータ26cを点灯させる。
ステップS147において、ECU24は、左右のドアミラー52を格納する。ステップS148において、ECU24は、左右のドアミラー52を選択して、右側のインジケータ26cを消灯する。
押し下げられたボタンが右ボタン38である場合、ステップS149において、ECU24は、ドアミラー52の状態(展開又は格納)を確認する。ドアミラー52が展開状態である場合、今回の処理を終える。ドアミラー52が格納状態である場合、ステップS150において、ECU24は、左右両方のドアミラー52を選択し、右側のインジケータ26cを点灯させる。
ステップS151において、ECU24は、左右のドアミラー52を展開する。ステップS152において、ECU24は、左右のドアミラー52を選択して、右側のインジケータ26cを消灯する。
押し下げられたボタンが中央ボタン30である場合、ステップS153において、ECU24は、後方ライト54を選択し、右側のインジケータ26cを点灯させる。続くステップS154において、ECU24は、後方ライト54を点灯させる。ステップS155において、後方ライト54を操作対象機器として設定する。
(5−5−5.左方向)
図24は、運転者100の注視方向Xが左方向(領域A4)である場合に操作対象機器を選択するフローチャート(図20のS115の詳細)である。ステップS161において、ECU24は、十字キー18のうち押し下げられたボタンが上ボタン32、中央ボタン30、下ボタン34、右ボタン38又は左ボタン36のいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS162において、ECU24は、助手席側ウィンドウ58を選択し、左側のインジケータ26dを点灯させる。続くステップS163において、ECU24は、助手席側ウィンドウ58を開閉する。すなわち、下ボタン34が押し下げられている場合、助手席側ウィンドウ58を開き、上ボタン32が押し下げられている場合、助手席側ウィンドウ58を閉じる。ステップS164において、ECU24は、助手席側ウィンドウ58を操作対象機器として設定する。
押し下げられたボタンが左ボタン36である場合、ステップS165において、ECU24は、ドアミラー52の状態(展開又は格納)を確認する。ドアミラー52が展開状態である場合、今回の処理を終える。ドアミラー52が格納状態である場合、ステップS166において、ECU24は、左右両方のドアミラー52を選択し、左側のインジケータ26dを点灯させる。
ステップS167において、ECU24は、左右のドアミラー52を展開する。ステップS168において、ECU24は、左右のドアミラー52を選択して、左側のインジケータ26dを消灯する。
押し下げられたボタンが右ボタン38である場合、ステップS169において、ECU24は、ドアミラー52の状態(展開又は格納)を確認する。ドアミラー52が格納状態である場合、今回の処理を終える。ドアミラー52が展開状態である場合、ステップS170において、ECU24は、左右のドアミラー52を選択し、左側のインジケータ26dを点灯させる。
ステップS171において、ECU24は、左右のドアミラー52を格納する。ステップS172において、ECU24は、左右のドアミラー52を選択して、左側のインジケータ26dを消灯する。
押し下げられたボタンが中央ボタン30である場合、ステップS173において、ECU24は、後方ライト54を選択し、左側のインジケータ26dを点灯させる。続くステップS174において、ECU24は、後方ライト54を点灯させる。ステップS175において、後方ライト54を操作対象機器として設定する。
[5−6.操作対象機器の操作(図18のS39)]
(5−6−1.概要)
図25は、ECU24が操作対象機器を操作するフローチャート(図18のS39の詳細)である。ステップS181において、ECU24は、図18のステップS37により選択中の操作対象機器を確認する。選択中の操作対象機器がナビゲーション装置40である場合、ステップS182において、ECU24は、ナビゲーション装置40の操作を行う。選択中の操作対象機器がオーディオ装置42である場合、ステップS183において、ECU24は、オーディオ装置42の操作を行う。選択中の操作対象機器がエアコンディショナ44である場合、ステップS184において、ECU24は、エアコンディショナ44の操作を行う。
選択中の操作対象機器がHUD46である場合、ステップS185において、ECU24は、HUD46の操作を行う。選択中の操作対象機器がハザードランプ48である場合、ステップS186において、ECU24は、ハザードランプ48の操作を行う。選択中の操作対象機器がシート50である場合、ステップS187において、ECU24は、シート50の操作を行う。選択中の操作対象機器が後方ライト54である場合、ステップS188において、ECU24は、後方ライト54の操作を行う。選択中の操作対象機器が運転席側ウィンドウ56である場合、ステップS189において、ECU24は、運転席側ウィンドウ56の操作を行う。選択中の操作対象機器が助手席側ウィンドウ58である場合、ステップS190において、ECU24は、助手席側ウィンドウ58の操作を行う。
(5−6−2.ナビゲーション装置40の操作)
図26は、ナビゲーション装置40の操作を行うフローチャート(図25のS182の詳細)である。ステップS201において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34、左ボタン36又は右ボタン38のいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS202において、ECU24は、ナビゲーション装置40の表示の縮尺を変更する。すなわち、上ボタン32が押し下げられている場合、縮尺を拡大し、下ボタン34が押し下げられている場合、縮尺を縮小する。
押し下げられたボタンが左ボタン36又は右ボタン38である場合、ステップS203において、ECU24は、ナビゲーション装置40の表示方向を切り替える。すなわち、左ボタン36が押し下げられた場合、表示方向を北向きとし、右ボタン38が押し下げられた場合、表示方向を車両10の進行方向とする。
押し下げられたボタンが中央ボタン30である場合、ステップS204において、ECU24は、中央のインジケータ26aを消灯させる。続くステップS205において、ECU24は、操作対象機器の選択を終了する。
(5−6−3.オーディオ装置42の操作)
図27は、オーディオ装置42の操作を行うフローチャート(図25のS183の詳細)である。ステップS211において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34、左ボタン36又は右ボタン38のいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS212において、ECU24は、オーディオ装置42の音量を調整する。すなわち、上ボタン32が押し下げられている場合、音量を増大させ、下ボタン34が押し下げられている場合、音量を減少させる。
押し下げられたボタンが左ボタン36又は右ボタン38である場合、ステップS213において、ECU24は、オーディオ装置42の選曲又は選局を切り替える。すなわち、左ボタン36が押し下げられている場合、前の楽曲又は前の放送局に切り替え、右ボタン38が押し下げられている場合、次の楽曲又は次の放送局に切り替える。
押し下げられたボタンが中央ボタン30である場合、ステップS214において、ECU24は、中央のインジケータ26aを消灯させる。続くステップS215において、ECU24は、操作対象機器の選択を終了する。
(5−6−4.エアコンディショナ44の操作)
図28は、エアコンディショナ44の操作を行うフローチャート(図25のS184の詳細)である。ステップS221において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34、左ボタン36又は右ボタン38のいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS222において、ECU24は、エアコンディショナ44の設定温度を調整する。すなわち、上ボタン32が押し下げられている場合、設定温度を増加させ、下ボタン34が押し下げられている場合、設定温度を減少させる。
押し下げられたボタンが左ボタン36又は右ボタン38である場合、ステップS223において、ECU24は、エアコンディショナ44の設定風量を調整する。すなわち、左ボタン36が押し下げられている場合、設定風量を減少させ、右ボタン38が押し下げられている場合、設定風量を増加させる。
押し下げられたボタンが中央ボタン30である場合、ステップS224において、ECU24は、中央のインジケータ26aを消灯させる。続くステップS225において、ECU24は、操作対象機器の選択を終了する。
(5−6−5.HUD46の操作)
図29は、HUD46の操作を行うフローチャート(図25のS185の詳細)である。ステップS231において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34又はその他のいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS232において、ECU24は、HUD46の表示情報を切り替える。例えば、上ボタン32が押し下げられている場合、車速110→走行距離112→燃費114→車速110→走行距離112、、、のように表示情報を切り替える(図7C参照)。下ボタン34が押し下げられている場合、車速110→燃費114→走行距離112→車速110→燃費114、、、のように表示情報を切り替える。
押し下げられたボタンが中央ボタン30である場合、ステップS233において、ECU24は、正面のインジケータ26bを消灯させる。続くステップS234において、ECU24は、HUD46をオフにする。ステップS235において、ECU24は、操作対象機器の選択を終了する。
押し下げられたボタンがその他のボタン(左ボタン36又は右ボタン38)である場合、そのまま今回の処理を終える。
(5−6−6.ハザードランプ48の操作)
図30は、ハザードランプ48の操作を行うフローチャート(図25のS186の詳細)である。ステップS241において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30又はその他のボタンのいずれであるかを判定する。
押し下げられたボタンが中央ボタン30である場合、ステップS242において、ECU24は、ハザードランプ48を消灯する。続くステップS243において、ECU24は、正面のインジケータ26bを消灯させる。ステップS244において、ECU24は、操作対象機器の選択を終了する。
押し下げられたボタンがその他のボタン(上ボタン32、下ボタン34、左ボタン36又は右ボタン38)である場合、そのまま今回の処理を終える。
(5−6−7.シート50の操作)
図31は、運転者100用のシート50の操作を行うフローチャート(図25のS187の詳細)である。ステップS251において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34、左ボタン36又は右ボタン38のいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS252において、ECU24は、シート50の前後スライド調整を行う。すなわち、上ボタン32が押し下げられている場合、シート50を前進させ、下ボタン34が押し下げられている場合、シート50を後退させる。
押し下げられたボタンが左ボタン36又は右ボタン38である場合、ステップS253において、ECU24は、シート50のリクライニング角度を調整する。すなわち、左ボタン36が押し下げられている場合、リクライニング角度を減少させ、右ボタン38が押し下げられている場合、リクライニング角度を増大させる。
押し下げられたボタンが中央ボタン30である場合、ステップS254において、ECU24は、正面のインジケータ26bを消灯させる。続くステップS255において、ECU24は、操作対象機器の選択を終了する。
(5−6−8.後方ライト54の操作)
図32は、後方ライト54の操作を行うフローチャート(図25のS188の詳細)ある。ステップS261において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30又はその他のボタンのいずれであるかを判定する。
押し下げられたボタンが中央ボタン30である場合、ステップS262において、ECU24は、後方ライト54を消灯させる。続くステップS263において、ECU24は、点灯中の右側又は左側のインジケータ26c、26dを消灯させる。続くステップS264において、ECU24は、操作対象機器の選択を終了する。
押し下げられたボタンがその他のボタン(上ボタン32、下ボタン34、左ボタン36又は右ボタン38)である場合、そのまま今回の処理を終える。
(5−6−9.運転席側ウィンドウ56の操作)
図33は、運転席側ウィンドウ56の操作を行うフローチャート(図25のS189の詳細)である。ステップS271において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34又はその他のボタンのいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS272において、ECU24は、運転席側ウィンドウ56を開閉する。すなわち、下ボタン34が押し下げられている場合、運転席側ウィンドウ56を開き、上ボタン32が押し下げられている場合、運転席側ウィンドウ56を閉じる。
押し下げられたボタンが中央ボタン30である場合、ステップS273において、ECU24は、右側のインジケータ26cを消灯させる。続くステップS274において、ECU24は、操作対象機器の選択を終了する。
押し下げられたボタンがその他のボタン(左ボタン36又は右ボタン38)である場合、そのまま今回の処理を終える。
(5−6−10.助手席側ウィンドウ58の操作)
図34は、助手席側ウィンドウ58の操作を行うフローチャート(図25のS190の詳細)である。ステップS281において、ECU24は、十字キー18のうち押し下げられたボタンが中央ボタン30、上ボタン32、下ボタン34又はその他のボタンのいずれであるかを判定する。
押し下げられたボタンが上ボタン32又は下ボタン34である場合、ステップS282において、ECU24は、助手席側ウィンドウ58を開閉する。すなわち、下ボタン34が押し下げられている場合、助手席側ウィンドウ58を開き、上ボタン32が押し下げられている場合、助手席側ウィンドウ58を閉じる。
押し下げられたボタンが中央ボタン30である場合、ステップS283において、ECU24は、左側のインジケータ26dを消灯させる。続くステップS284において、ECU24は、操作対象機器の選択を終了する。
押し下げられたボタンがその他のボタン(左ボタン36又は右ボタン38)である場合、そのまま今回の処理を終える。
6.本実施形態の効果
以上説明したように、本実施形態によれば、運転者100(乗員)の注視方向Xに基づいて車幅方向の車載機器群(グループA〜D)を特定すると共に、特定した車載機器群のうちいずれかの車載機器20を十字キー18の操作により特定する。従って、運転者は、特定すべきいずれかの車載機器20そのものを注視する必要は無く、特定すべきいずれかの車載機器20が存在する車載機器群の方向(車幅方向)に視線又は顔を向けるだけでよくなる。このため、車両10の前方への注意を阻害する要因を低減することが可能になると共に、操作対象機器の誤判定を防止することが可能となる。また、各車載機器20に対する注視判定が不要となるため、高精度な視線/顔向き検知技術を必要としなくなる。従って、操作装置12全体での高コスト化を防止することが可能となる。
本実施形態において、十字キー18は、選択可能な上下方向のそれぞれに対応して割り当てられた上ボタン32、下ボタン34及び中央ボタン30を備える。これにより、選択可能な上下方向(=1つの車載機器群に存在する車載機器20の数)に対応して上ボタン32、下ボタン34及び中央ボタン30が設けられるため、操作対象機器選択のための操作時間を短縮することが可能になると共に、操作対象機器を確実に選択することが可能となる。このため、利便性を向上することができる。
本実施形態において、十字キー18は、運転者100の注視方向Xの検出及び十字キー18の操作により操作対象機器が特定された状態において、当該操作対象機器に対する特定の操作入力を行うための操作入力手段を兼ねる。これにより、上下方向選択手段(例えば、機器選択用スイッチ)と操作入力手段(例えば、機器操作用スイッチ)とを共用化することにより操作手段の配置スペース及びコストを低減することが可能となる。また、ブラインド操作の容易化を図ることが可能となる。
本実施形態において、ECU24は、乗員カメラ14による取得画像に基づいて車幅方向における運転者100の顔向き角度を検出し、当該顔向き角度に基づいて運転者100の注視方向Xを検出する。これにより、車幅方向の顔向き角度を画像処理から求めれば良いため、瞳孔の輝点検出等を用いる視線検知を行うための高精度な画像処理や赤外LED等のデバイスが不要となり、より一層の低コスト化を図ることが可能となる。
本実施形態では、特定された車載機器群(グループA〜D)における個別の車載機器20の選択は、ステアリングホイール16に設けられた十字キー18により行われると共に、各車載機器群において車載機器20を選択する上下方向は、十字キー18の上下方向(上ボタン32、下ボタン34及び中央ボタン30)に対応して割り当てられる。このような十字キー18を用いることによりステアリングホイール16から手を離さずに車載機器20を操作可能であるため利便性が向上する。加えて、選択可能な方向が十字キー18の上下位置に対応しているため、より直感的に車載機器20を選択することができ、ブラインド操作の更なる容易化を図ることが可能となる。
本実施形態では、運転者100の注視方向Xに伴って特定された車載機器群(グループA〜D)を表示するインジケータ26a〜26dが、車載機器群(グループA〜D)ごとに設けられている。これにより、車載機器群を特定する精度を確保(車両10の状態と運転者100の認識とのずれを防止)しつつ、車載機器20全てに対応するようにインジケータ26を設ける場合に比べて低コスト化を図ることができる。
本実施形態によれば、車幅方向における複数の車載機器群(グループA〜D)のうち運転者100の注視方向Xに基づいて特定されたものを、インジケータ26a〜26eを用いて報知する。少なくともインジケータ26a、26b、26eは、車幅方向において各車載機器群(グループA、B)に対応する領域A1、A2、A5の幅と同等の幅を有し、インストルメントパネル59に車幅方向に並べて配置されている。従って、運転者100は、領域A1〜A5の境界及び幅を視覚的に認識すると共に、特定されている車載機器群の切り替わりを認識することが可能となり、最小限の視線又は顔向きの変化で車幅方向における車載機器20の特定を確実に行うことが可能となる。
また、運転者100が意図している注視方向Xと、操作装置12が検出した注視方向Xとの間にずれが生じている場合でも、検出した注視方向Xを報知するインジケータ26a〜26eが存在することにより、運転者100は当該ずれを認識し、注視方向Xを適宜調整することが可能となる。
さらに、本実施形態では、運転者100の視線方向又は顔向きを車幅方向における車載機器群(グループA〜D)の特定のみに用いるため、視線方向又は顔向きの検出は、車幅方向のみでよくなる。これにより、車幅方向以外の方向(例えば、上下方向)における視線方向又は顔向きの検出を不要とすることでき、視線方向又は顔向きの検出処理を軽減することなどが可能となる。
本実施形態では、領域A1〜A5(インジケータ26a〜26e)の境界線28a〜28dは、ECU24(車載機器群特定機能72)により車載機器群(グループA〜D)が特定されていなくても表示器22が報知する。これにより、運転者100が確実に境界線28a〜28dを理解でき、どの幅領域に視線又は顔向きを変化させれば、特定の車載機器群を選択できるかを理解することが可能となる。
本実施形態では、操作装置12は、車載機器20とは異なる場所において運転者100により操作可能に設けられる十字キー18を備え、ECU24(個別車載機器特定機能74)は、検出した注視方向Xに基づいて車載機器群(グループA〜D)を特定すると共に、該車載機器群が特定された状態で十字キー18により選択された方向に基づいて、特定された車載機器群のうちいずれかの車載機器20を特定し、インジケータ26a〜26eは、個別車載機器特定機能74によって特定された車載機器20によって表示色が変更される。これにより、運転者100は、1つの車載機器群の中でいずれの車載機器20が選択されているかを直ぐに理解することができる。
本実施形態において、インジケータ26a〜26eは、それらの幅を調整できる。これにより、注視方向検出機能70により検出される注視方向Xと実際の注視方向Xがずれていたとしても調整することができ、実際の注視方向Xに沿った違和感のない注視方向Xの検出が可能となる。
本実施形態によれば、検出された注視方向X又は特定された車載機器群(グループA〜D)に対応する領域A1〜A5を視覚的に報知する複数のインジケータ26a〜26eを備える。各インジケータ26a〜26eは、フロントウィンドウ11の下部の周囲において領域A1〜A5ごとに車幅方向に沿って連続的に設けられて、隣り合う領域A1〜A5の境界を示す。従って、運転者100は、領域A1〜A5の境界及び幅を視覚的に認識すると共に、選択されている領域A1〜A5の切り替わりを認識することが可能となり、最小限の視線又は顔向きの変化で車幅方向における車載機器20の特定を確実に行うことが可能となる。
また、運転者100が意図している注視方向Xと、操作装置12が検出した注視方向Xとの間にずれが生じている場合でも、検出した注視方向Xを視覚的に示す複数のインジケータ26a〜26eが存在することにより、運転者100は当該ずれを認識し、注視方向Xを適宜調整することが可能となる。
7.変形例
なお、この発明は、上記実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
[7−1.搭載対象]
上記実施形態では、操作装置12を車両10に搭載したが、これに限らず、別の対象に搭載してもよい。例えば、操作装置12を船舶や航空機等の移動体に用いることもできる。また、移動体に限らず、対象者の注視方向を特定することを要する装置であれば、その他の装置であってもよい。
[7−2.注視方向の検出]
注視方向Xの検出対象としての乗員は、運転者100に限らず、その他の乗員(助手席に座っている乗員、後部座席に座っている乗員等)であってもよい。
上記実施形態では、フロントウィンドウ11周辺を5つの領域A1〜A5に区切ったが(図5)、領域の数は、これに限らない。例えば、図35のように、フロントウィンドウ11周辺を3つの領域A11〜A13に区切ることもできる。
[7−3.操作対象機器の特定]
上記実施形態では、車両10の車幅方向の特定を注視方向Xに基づいて行い、車両10の高さ方向の特定を十字キー18の操作により行ったが、インジケータ26a〜26eを用いて注視方向Xを報知する観点からすれば、これに限らない。例えば、車両10の高さ方向の特定を注視方向X(顔向き及び視線方向の少なくとも一方)に基づいて行うこともできる。或いは、高さ方向に含まれる車載機器20を1つのみ設定し、車幅方向の特定に伴って車載機器20を特定するようにすることもできる。或いは、インジケータ26a〜26eを上下方向に配置し、上下方向における注視方向Xをインジケータ26a〜26eにより報知することも可能である。
上記実施形態では、図11、図18、図20〜図24のフローチャートを用いて操作対象機器を特定したが、車両10の車幅方向において車載機器群(グループA〜D)を特定すると共に、車両10の高さ方向において操作対象機器を特定する観点からすれば、操作対象機器の特定方法は、これに限らない。例えば、図18のフローチャートでは、ステップS34において十字キー18においていずれかのボタンが押し下げられたか否かを判定しているが、当該判定は省略すること(例えば、図20のステップS111と組み合わせること)もできる。また、図21〜図24のフローチャートでは、選択した操作対象機器に対応させてインジケータ26a〜26dを点灯させたが、インジケータ26a〜26dを点灯させなくてもよい。
[7−4.操作手段]
上記実施形態では、操作対象機器を特定するために運転者100(乗員)が操作する手段(操作手段)として、十字キー18を用いたが、車載機器群(グループA〜D)において上下方向に配置されている車載機器20を特定又は選択する観点からすれば、これに限らない。例えば、上記実施形態の十字キー18は、中央ボタン30、上ボタン32、下ボタン34、左ボタン36及び右ボタン38を有していたが、上ボタン32及び下ボタン34のみの構成又は中央ボタン30、上ボタン32及び下ボタン34のみの構成であってもよい。或いは、各ボタンが連結されている構成(例えば、JP 2010−105417 Aの図4に示されるような十字ボタン)であってもよい。また、上記実施形態の十字キー18の各ボタンは、いわゆるプッシュ式スイッチの類であったが(図3参照)、スライドスイッチ、レバースイッチ等その他の種類のスイッチであってもよい。
上記実施形態では、十字キー18が、車載機器群(グループA〜D)において操作対象機器を特定するための手段(操作手段)と、特定した操作対象機器を操作するための手段(操作入力手段)との両方を兼ねていたが、特定した操作対象機器を操作するための手段は別に設けることもできる。
上記実施形態では、十字キー18をステアリングホイール16に設けたが、十字キー18を設ける位置は、これに限らない。例えば、ステアリングコラムやインスツルメントパネルのいずれかの位置に設けることもできる。
[7−5.車載機器20及び車載機器群]
上記実施形態では、複数の車載機器20として、ナビゲーション装置40、オーディオ装置42、エアコンディショナ44、HUD46、ハザードランプ48、シート50、ドアミラー52、後方ライト54、運転席側ウィンドウ56及び助手席側ウィンドウ58を挙げたが、車載機器20の選択の観点からすれば、車両10の乗員が操作可能な複数の車載機器が上下方向に配置された車載機器群(グループ)が車幅方向に複数配置されていれば、これに限らない。
また、必ずしも複数の車載機器群(グループ)が車幅方向に存在している必要はなく、少なくとも1つの車載機器群が車幅方向の特定領域に配置されている構成にも本発明を適用可能である。換言すると、本発明は、車幅方向における車載機器群の特定を乗員の注視方向に基づいて特定し、且つ特定された車載機器群における車載機器20の特定を操作手段に行うものであれば適用可能であるため、複数の車載機器20を含む車載機器群は1つ以上あればよい。さらに、1つの車載機器群を車幅方向に設け、車幅方向に単一の車載機器20を別途配置する構成も可能である。
或いは、選択されている車載機器群又は個別の車載機器20を報知する観点からすれば、車両10の乗員が操作可能な複数の車載機器が車幅方向に配置されていれば、これに限らない。この場合、各領域A1〜A5に配置される車載機器は1つであってもよい。
[7−6.注視方向表示器22(インジケータ26a〜26e)]
上記実施形態では、表示器22(インジケータ26a〜26e)は、フロントウィンドウ11の下部周辺においてインストルメントパネル59に設けたが、フロントウィンドウ11の下部若しくは上部又はそれらの周囲に設けられるのであれば、これに限らない。例えば、表示器22(インジケータ26a〜26e)をフロントウィンドウ11の上部に設けることもできる。また、HUD46の領域をより広げた状態であれば、表示器22(インジケータ26a〜26e)をHUD46の一部として構成することもできる。
上記実施形態では、各インジケータ26a〜26eは、車幅方向に連続的に点灯するものであったが、隣り合う領域A1〜A5の境界を示す観点からすれば、断続的に(その一部が点灯しない状態で)設けられてもよい。
上記実施形態では、操作対象機器が選択されていない場合、注視方向Xに対応するインジケータ26a〜26eのみを点灯させ、その他のインジケータ26a〜26eを消灯させていたが、これに限らず、全てのインジケータ26a〜26eを点灯させ、注視方向Xに対応するインジケータ26a〜26eのみを異なる色で表示してもよい。
上記実施形態では、領域A1〜A5の全てに対応させてインジケータ26a〜26eを設けたが、選択されている領域を報知する観点からすれば、2つ以上のインジケータ26a〜26eが設けられていれば、これに限らない。
上記実施形態では、インジケータ26a〜26eにより車載機器20の選択を報知する方法として、インジケータ26a〜26eの色を変化させたが、これに限らず、例えば、インジケータ26a〜26eの点滅パターンのバリエーションにより車載機器20の選択を報知してもよい。或いは、ナビゲーション装置40からの音声出力により車載機器20の選択を報知することもできる。もちろんこれらの組合せであってもよい。
上記実施形態では、インジケータ26a〜26eの表示を途切れなく行っていたが、操作対象機器の選択を開始するための所定の操作又は設定が行われたときのみインジケータ26a〜26eによる表示を行うこともできる。また、当該所定の操作又は設定を行うためのボタン等の部位を設けてもよい。
上記実施形態では、インジケータ26a〜26eを有する注視方向表示器22を用いたが、車載機器20の選択処理に着目した場合、その他の表示器又は点灯部を設けてもよい。例えば、図36に示すように、領域A1〜A4に対応させて4つのパイロットランプ126a〜126dを設けることができる。すなわち、中央に設けられたパイロットランプ126aと、正面に設けられたパイロットランプ126bと、右側に設けられたパイロットランプ126cと、左側に設けられたパイロットランプ126dとを設け、これらのパイロットランプ126a〜126dを複数の車載機器群A〜D(グループA〜D)に対応させる。そして、これらのパイロットランプ126a〜126dを用いて、インジケータ26a〜26eと同様、検出した注視方向X(又はこれに対応する領域A1〜A4)や十字キー18の操作状態を通知してもよい。
或いは、車載機器20を選択する観点に着目すれば、低コスト化や煩わしさ低減のためインジケータ26a〜26d及びパイロットランプ126a〜126dを設けない構成や、現在操作可能な状態にある車載機器を瞬時に把握できるようにするため車載機器20毎にインジケータ26a〜26d又はパイロットランプ126a〜126dを設ける構成も可能である。

Claims (12)

  1. 車両(10)に搭載されて前記車両(10)の乗員(100)が操作可能な複数の車載機器(20)と、
    前記乗員(100)の視線方向又は顔向きに基づいて前記乗員(100)の注視方向を検出する注視方向検出手段(70)と、
    前記乗員(100)により操作可能に前記車載機器(20)とは異なる場所に設けられる操作手段(18)と
    を備える車載機器操作装置(12)であって、さらに、
    前記車両(10)の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されている前記複数の車載機器(20)が前記車幅方向において所定領域ごとに区切られた複数の車載機器群の中から、前記注視方向検出手段(70)により検出された前記注視方向に基づいて、いずれかの車載機器群を特定する車載機器特定手段(72、74)と、
    前記車載機器特定手段(72、74)により特定された前記車載機器群を報知する報知手段(26a〜26e)と
    を備え、
    前記操作手段(18)は、前記車載機器群のうち前記上下方向における前記車載機器(20)を選択可能な上下方向選択手段(30、32、34)を有し、
    前記車載機器特定手段(72、74)は、前記注視方向検出手段(70)により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段(30、32、34)が操作された場合に、該上下方向選択手段(30、32、34)により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器(20)を特定し、
    前記報知手段(26a〜26e)は、それぞれの前記所定領域の幅と同等の幅を有し、前記車両(10)のインストルメントパネル(59)において前記車幅方向に並べて配置されている
    ことを特徴とする車載機器操作装置(12)。
  2. 車両(10)に搭載されて前記車両(10)の乗員(100)が操作可能な複数の車載機器(20)と、
    前記乗員(100)の視線方向又は顔向きに基づいて前記乗員(100)の注視方向を検出する注視方向検出手段(70)と、
    前記注視方向検出手段(70)により検出された前記注視方向に基づいて前記複数の車載機器(20)のうちいずれかの車載機器(20)を特定する車載機器特定手段(72、74)と、
    前記乗員(100)により操作可能に前記車載機器(20)とは異なる場所に設けられる操作手段(18)と
    を備える車載機器操作装置(12)であって、
    前記複数の車載機器(20)は、前記車両(10)の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されていると共に、前記車幅方向において所定領域ごとに区切った複数の車載機器群に区分されており、
    前記操作手段(18)は、前記車載機器群のうち前記上下方向における前記車載機器(20)を選択可能な上下方向選択手段(30、32、34)を有し、
    前記車載機器特定手段(72、74)は、前記注視方向検出手段(70)により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段(30、32、34)が操作された場合に、該上下方向選択手段(30、32、34)により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器(20)を特定する
    ことを特徴とする車載機器操作装置(12)。
  3. 請求項1又は2記載の車載機器操作装置(12)において、
    前記上下方向選択手段(30、32、34)は、選択可能な前記上下方向のそれぞれに対応して割り当てられた個別の操作スイッチ(30、32、34)により構成される
    ことを特徴とする車載機器操作装置(12)。
  4. 請求項1〜3のいずれか1項に記載の車載機器操作装置(12)において、
    前記上下方向選択手段(30、32、34)は、前記車載機器特定手段(72、74)により前記車載機器(20)が特定された状態において、当該特定された車載機器(20)に対する特定の操作入力を行うための操作入力手段を兼ねる
    ことを特徴とする車載機器操作装置(12)。
  5. 請求項1〜4のいずれか1項に記載の車載機器操作装置(12)において、
    前記注視方向検出手段(70)は、
    前記乗員(100)を含む画像を撮像可能に前記車両(10)の室内に設けられる撮像手段(14)と、
    前記撮像手段(14)により撮像された前記画像に基づいて前記車幅方向における前記乗員(100)の顔向き角度を検出する顔向き角度検出手段(70)と
    を備え、
    前記顔向き角度検出手段(70)により検出された前記顔向き角度に基づいて前記乗員(100)の注視方向を検出する
    ことを特徴とする車載機器操作装置(12)。
  6. 請求項1〜5のいずれか1項に記載の車載機器操作装置(12)において、
    前記上下方向選択手段(30、32、34)は、前記車両(10)のステアリングホイール(16)に設けられる十字スイッチ(18)として構成されると共に、前記選択可能な上下方向が前記ステアリングホイール(16)の正面視における前記十字スイッチ(18)の上下方向に対応して割り当てられる
    ことを特徴とする車載機器操作装置(12)。
  7. 請求項1〜6のいずれか1項に記載の車載機器操作装置(12)において、
    前記車載機器特定手段(72、74)により特定された前記車載機器群を表示する表示手段(26a〜26e、126a〜126d)が、前記車載機器群ごとに設けられている
    ことを特徴とする車載機器操作装置(12)。
  8. 車両(10)に搭載されて前記車両(10)の乗員(100)が操作可能な複数の車載機器(20)と、
    前記乗員(100)の視線方向又は顔向きに基づいて前記乗員(100)の注視方向を検出する注視方向検出手段(70)と、
    前記車両(10)の車幅方向及び該車幅方向と交差する上下方向にそれぞれ複数配置されている前記複数の車載機器(20)が前記車幅方向において所定領域ごとに区切られた複数の車載機器群の中から、前記注視方向検出手段(70)により検出された前記注視方向に基づいて、いずれかの車載機器群を特定する車載機器特定手段(72、74)と、
    前記車載機器特定手段(72、74)により特定された前記車載機器群を報知する報知手段(26a〜26e)と
    を備え、
    前記報知手段(26a〜26e)は、それぞれの前記所定領域の幅と同等の幅を有し、前記車両(10)のインストルメントパネル(59)において前記車幅方向に並べて配置されている
    ことを特徴とする報知装置(12)。
  9. 請求項8記載の報知装置(12)において、
    前記所定領域の境界線は、前記車載機器特定手段(72、74)により前記車載機器群が特定されていなくても前記報知手段(26a〜26e)が報知する
    ことを特徴とする報知装置(12)。
  10. 請求項8又は9記載の報知装置(12)において、
    前記車載機器(20)とは異なる場所において前記乗員(100)により操作可能に設けられる操作手段(18)を備え、
    前記操作手段(18)は、前記車載機器群のうち前記上下方向における前記車載機器(20)を選択可能な上下方向選択手段(30、32、34)を有し、
    前記車載機器特定手段(72、74)は、前記注視方向検出手段(70)により検出された前記注視方向に基づいて前記車載機器群を特定すると共に、該車載機器群が特定された状態で前記上下方向選択手段(30、32、34)により選択された上下方向に基づいて前記特定された車載機器群のうちいずれかの車載機器(20)を特定し、
    前記報知手段(26a〜26e)は、前記車載機器特定手段(72、74)によって特定された前記車載機器(20)によって報知方法が変更される
    ことを特徴とする報知装置(12)。
  11. 請求項8〜10のいずれか1項に記載の報知装置(12)において、
    前記報知手段(26a〜26e)は、前記幅を調整できる
    ことを特徴とする報知装置(12)。
  12. 車両(10)において車幅方向に配置された複数の車載機器(20)と、
    乗員(100)の視線方向及び顔向きの少なくとも一方に基づいて前記車幅方向における前記乗員(100)の注視方向を検出する注視方向検出部(70)と、
    前記複数の車載機器(20)から前記注視方向に対応する1つ以上の前記車載機器(20)を特定する車載機器特定部(72、74)と、
    前記注視方向の検出可能範囲であり且つ前記車幅方向において前記複数の車載機器(20)に応じて設定された複数の注視可能領域のうち、検出された前記注視方向又は特定された前記1つ以上の車載機器(20)に対応する注視可能領域を視覚的に報知する報知部(22)と
    を備え、
    前記報知部(22)は、フロントウィンドウ(11)の下部若しくは上部又はそれらの周囲において前記複数の注視可能領域ごとに前記車幅方向に沿って連続的又は断続的に設けられて、隣り合う注視可能領域の境界を示す複数のインジケータ(26a〜26e)を有する
    ことを特徴とする報知装置(12)。
JP2013521495A 2011-06-20 2012-04-11 車載機器操作装置及び報知装置 Expired - Fee Related JP5554879B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013521495A JP5554879B2 (ja) 2011-06-20 2012-04-11 車載機器操作装置及び報知装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011135849 2011-06-20
JP2011135849 2011-06-20
JP2011206857 2011-09-22
JP2011206857 2011-09-22
PCT/JP2012/059854 WO2012176535A1 (ja) 2011-06-20 2012-04-11 車載機器操作装置及び報知装置
JP2013521495A JP5554879B2 (ja) 2011-06-20 2012-04-11 車載機器操作装置及び報知装置

Publications (2)

Publication Number Publication Date
JP5554879B2 JP5554879B2 (ja) 2014-07-23
JPWO2012176535A1 true JPWO2012176535A1 (ja) 2015-02-23

Family

ID=47422382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013521495A Expired - Fee Related JP5554879B2 (ja) 2011-06-20 2012-04-11 車載機器操作装置及び報知装置

Country Status (4)

Country Link
US (1) US9499110B2 (ja)
EP (1) EP2708420B1 (ja)
JP (1) JP5554879B2 (ja)
WO (1) WO2012176535A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014149640A (ja) * 2013-01-31 2014-08-21 Tokai Rika Co Ltd ジェスチャ操作装置及びジェスチャ操作プログラム
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
US9244532B2 (en) * 2013-12-31 2016-01-26 Immersion Corporation Systems and methods for controlling multiple displays with single controller and haptic enabled user interface
JP6033804B2 (ja) * 2014-02-18 2016-11-30 本田技研工業株式会社 車載機器操作装置
GB201411309D0 (en) 2014-06-25 2014-08-06 Tomtom Int Bv Vehicular human machine interfaces
DE102014213279A1 (de) * 2014-07-09 2016-01-14 Conti Temic Microelectronic Gmbh System zum Erfassen einer Fahrzeugumgebung eines Kraftfahrzeuges
KR101677648B1 (ko) * 2014-12-22 2016-11-18 엘지전자 주식회사 차량 제어 장치 및 그 제어 방법
JP6406088B2 (ja) * 2015-03-25 2018-10-17 株式会社デンソー 操作システム
US20160297362A1 (en) * 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
US10166996B2 (en) * 2017-02-09 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adaptively communicating notices in a vehicle
DE102017216465A1 (de) * 2017-09-18 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von Informationen zu einem Objekt eines Fortbewegungsmittels, System und Automobil
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
JP6922686B2 (ja) * 2017-11-20 2021-08-18 トヨタ自動車株式会社 操作装置
JP2019206297A (ja) * 2018-05-30 2019-12-05 トヨタ自動車株式会社 内装構造
US10780909B2 (en) * 2018-08-03 2020-09-22 Tesla, Inc. User interface for steering wheel
KR102602739B1 (ko) 2018-09-07 2023-11-16 삼성디스플레이 주식회사 전자 장치
DE102018126829B3 (de) * 2018-10-26 2020-03-26 Motherson Innovations Company Limited Hybrid-Innenspiegel mit Fehlererkennung, Verfahren zu dessen Betrieb sowie Fahrzeug
DE102019220012A1 (de) * 2019-12-18 2021-06-24 Continental Automotive Gmbh Verfahren zum Betreiben einer Anzeigeeinheit eines Fahrzeugs und Anzeigeeinheit
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4158483A (en) * 1975-07-09 1979-06-19 Harman International Industries, Inc. Remote controlled rearview mirror
NO20005119L (no) * 2000-02-18 2001-08-20 Ziad Badarneh Interaktivt system
US6397137B1 (en) * 2001-03-02 2002-05-28 International Business Machines Corporation System and method for selection of vehicular sideview mirrors via eye gaze
BR0307760A (pt) * 2002-02-19 2006-04-04 Volvo Technology Corp sistema e método para a monitoração e o gerenciamento de gargas de atenção do motorista
US6668221B2 (en) * 2002-05-23 2003-12-23 Delphi Technologies, Inc. User discrimination control of vehicle infotainment system
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
DE102004022634A1 (de) * 2004-05-07 2005-12-15 Dr.Ing.H.C. F. Porsche Ag Abdeckungen für ein Lenkrad
US8340368B2 (en) * 2008-06-11 2012-12-25 Hyundai Motor Company Face detection system
US8057288B2 (en) * 2008-06-20 2011-11-15 Nissan North America, Inc. Contact-free vehicle air vent
JP5061074B2 (ja) * 2008-09-26 2012-10-31 株式会社デンソーアイティーラボラトリ 車載機器制御装置および車載機器制御方法
JP5206314B2 (ja) 2008-10-28 2013-06-12 三菱自動車工業株式会社 車載用電子機器
US9108513B2 (en) * 2008-11-10 2015-08-18 Volkswagen Ag Viewing direction and acoustic command based operating device for a motor vehicle
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
JP4837762B2 (ja) 2009-06-18 2011-12-14 本田技研工業株式会社 車載機器操作装置
JP5150610B2 (ja) * 2009-12-03 2013-02-20 本田技研工業株式会社 注視判定装置
US9292093B2 (en) * 2010-11-18 2016-03-22 Alpine Electronics, Inc. Interface method and apparatus for inputting information with air finger gesture
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
JP5367037B2 (ja) * 2011-09-26 2013-12-11 本田技研工業株式会社 顔向き検出装置

Also Published As

Publication number Publication date
WO2012176535A1 (ja) 2012-12-27
US20140129082A1 (en) 2014-05-08
EP2708420B1 (en) 2016-08-17
US9499110B2 (en) 2016-11-22
EP2708420A4 (en) 2015-05-27
EP2708420A1 (en) 2014-03-19
JP5554879B2 (ja) 2014-07-23

Similar Documents

Publication Publication Date Title
JP5554879B2 (ja) 車載機器操作装置及び報知装置
JP5345660B2 (ja) 車載機器特定装置
CN104842795B (zh) 车载设备操作装置
US20200207274A1 (en) Vehicle display device, display control method, and rearview monitoring system
JP5367037B2 (ja) 顔向き検出装置
US10086845B2 (en) Vehicle information display control device, and method for displaying automatic driving information
US20140195096A1 (en) Apparatus and method for contactlessly detecting objects and/or persons and gestures and/or operating procedures made and/or carried out thereby
US10632917B2 (en) Signal processing device, signal processing method, and monitoring system
US20180118109A1 (en) Information presentation apparatus
JP4941760B2 (ja) 車両周辺監視装置
US8049609B2 (en) In-vehicle display device
KR101556521B1 (ko) 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
US9446712B2 (en) Motor vehicle comprising an electronic rear-view mirror
US20170182936A1 (en) Information providing apparatus
EP2765568A1 (en) Warning device
US20140368029A1 (en) System for providing vehicle manipulation device information
EP2644430B1 (en) Vehicular glance lighting apparatus and a method for controlling the same
WO2017154491A1 (ja) 車両周辺画像表示装置
US8719726B2 (en) Vehicular manipulation input apparatus
JP2011000957A (ja) 車載機器操作装置
US10315556B2 (en) Information providing apparatus
CN111572620A (zh) 转向控制装置、操作其的指示照明系统的方法和机动车辆
JP5954169B2 (ja) 制御装置
CN114041174A (zh) 用于在车辆内确定车辆使用者的眼睛图像数据、眼睛位置和/或视向的装置和方法
US20150091874A1 (en) Button selection trace light indicator

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140529

R150 Certificate of patent or registration of utility model

Ref document number: 5554879

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees