JP7225770B2 - 車載機器操作システム - Google Patents

Description

本発明は、車載機器操作システムに関する。

特許文献１には、音声認識と視線検出とを併用した音声認識制御システムが開示されている。具体的には、音声認識部によって発話位置と発話内容とを認識し、視線検出部によって発話位置の人物の視線から制御対象を検出する構成となっている。

特開２０１７－９０６１４号公報

上記特許文献１のように音声認識機能を用いた場合であっても、車載機器の微調整や細かい設定等については乗員が手動で行う必要がある。このような場合に、車載機器の手動による操作性を向上させる観点で改善の余地がある。

本発明は上記事実を考慮し、音声認識機能を備えた車載機器操作システムにおいて、車載機器の手動による操作性を向上させることを目的とする。

請求項１に記載の車載機器操作システムは、乗員の音声を集音する集音部で集音された乗員の音声の内容に車載機器への指示が含まれる場合に、前記車載機器を作動させる車載機器作動部と、ステアリングホイールに設けられた複数の操作部のうち、前記車載機器作動部によって作動された前記車載機器の設定変更が可能な操作部を強調して表示させる表示強調部と、を有する。

請求項１に記載の車載機器操作システムでは、集音された乗員の音声の内容から車載機器への指示が含まれている場合に、車載機器作動部によって車載機器を作動させる。これにより、乗員がボタン及びスイッチ等の操作部を通じて手動操作を行うことなく車載機器を自動で作動させることができる。なお、ここでいう「作動」とは、作動していない車載機器を作動させる操作に限定されず、作動中の車載機器の状態を変化させるための操作も含む概念である。

ここで、本発明では、表示強調部は、車載機器作動部で作動された車載機器に対応する操作部を強調して表示させる。これにより、乗員が車載機器を手動操作するための操作部の位置を探す手間が省かれる。すなわち、音声認識機能によって車載機器が作動された場合に、引き続き手動操作により車載機器の状態を変化させることができる。

また、強調表示された操作部を通じて運転者が手動操作する場合に、ステアリングホイールから手を離さずに済む。

請求項２に記載の車載機器操作システムは、請求項１において、前記表示強調部は、前記操作部を点灯又は点滅させることにより強調表示させる。

請求項２に記載の車載機器操作システムでは、表示強調部によって操作部が点灯又は点滅されることで、乗員に対して車載機器の操作部の位置を直感的に認識させることができる。

請求項３に記載の車載機器操作システムは、請求項２において、車両の周囲の照度が低くなるにつれて前記操作部の点灯時又は点滅時における輝度を下げ、車両の周囲の照度が高くなるにつれて前記輝度を上げる。

請求項３に記載の車載機器操作システムでは、一定の輝度で操作部を点灯又は点滅させる場合と比較して、快適性を向上させることができる。すなわち、車両の周囲が暗い場合に操作部が眩しく感じるのを抑制することができる。また、車両の周囲が明るい場合に操作部の位置を認識し難くなるのを抑制することができる。

請求項４に記載の車載機器操作システムは、請求項２又は３において、前記操作部を点灯又は点滅させるための複数の色の光源を備えている。

請求項４に記載の車載機器操作システムでは、例えば、車両の周囲の照度に応じて光源を変更することで、乗員に対して点灯又は点滅している操作部を見易くさせることができる。また、車内温度や音量などを上げるボタンと下げるボタンとを異なる色で点灯又は点滅させることで、車載機器の操作性を向上させることができる。

請求項５に記載の車載機器操作システムは、請求項１～４の何れか１項において、前記表示強調部によって前記操作部が強調表示された後、前記操作部が手動操作されずに所定時間が経過した場合、前記操作部を強調表示させる前の状態に戻す。

請求項５に記載の車載機器操作システムでは、乗員が特別な操作を行うことなく強調表示状態を解除させることができる。

請求項６に記載の車載機器操作システムは、請求項１～５の何れか１項において、運転者が視認可能な範囲には表示部が設けられ、前記車載機器作動部によって前記車載機器が作動された場合には、前記表示部に前記車載機器の情報を表示させる。

請求項６に記載の車載機器操作システムでは、車載機器が作動されたことを運転者に視認させることができる。また、表示部を見ながら引き続き手動操作を行うことができる。

請求項７に記載の車載機器操作システムは、請求項６において、前記表示部には、前記車載機器の情報が階層的に表示され、前記車載機器作動部によって前記車載機器が作動された場合には、前記車載機器を手動操作可能な階層の情報を前記表示部に表示させる。

請求項７に記載の車載機器操作システムでは、車載機器を手動操作可能な階層の情報が表示部に表示されるため、運転者が車載機器を作動させる場合に階層を切り替えるための手動操作が不要となる。これにより、乗員が容易に車載機器を作動することができる。

以上説明したように、本発明に係る車載機器操作システムでは、音声認識機能を備えた構成において、車載機器の手動による操作性を向上させることができる。

第１実施形態に係る車載機器操作システムが適用された車室前部を車両後方側から見た外観図である。 図１の状態からステアリングスイッチが点灯した状態を示す、図１に対応する外観図である。 第１実施形態におけるヘッドアップディスプレイの表示例を示す正面図であり、（Ａ）には第１階層が示されており、（Ｂ）には第１階層でオーディオ装置の操作が決定された場合の第２階層が示されており、（Ｃ）には第２階層でその他の操作が決定された場合の第３階層が示されている。 第１実施形態におけるヘッドアップディスプレイの表示例を示す正面図であり、（Ａ）には図３（Ａ）の第１階層で空調装置の操作が決定された場合の第２階層が示されており、（Ｂ）には第２階層で運転席の操作が決定された場合の第３階層が示されている。 第１実施形態におけるヘッドアップディスプレイの表示例を示す正面図であり、（Ａ）には図３（Ａ）の第１階層でシートの操作が決定された場合の第２階層が示されており、（Ｂ）には第２階層でマッサージの操作が決定された場合の第３階層が示されている。 第１実施形態に係る車載機器操作システムのハードウェア構成を示すブロック図である。 第１実施形態に係る車載機器操作システムを構成するＥＣＵのハードウェア構成を示すブロック図である。 第１実施形態に係る車載機器操作システムにおける機能構成の例を示すブロック図である。 第１実施形態に係る車載機器操作システムによる車載機器操作処理の流れの一例を示すフローチャートである。 第１実施形態に係る車載機器操作システムによる車載機器操作処理の流れのその他の例を示すフローチャートである。 第２実施形態に係る車載機器操作システムが適用された車室前部を車両後方側から見た外観図である。 図１１の状態からステアリングスイッチが点灯した状態を示す、図１１に対応する外観図である。 第２実施形態に係る車載機器操作システムのハードウェア構成を示すブロック図である。 第２実施形態に係る車載機器操作システムによる車載機器操作処理の流れの一例を示すフローチャートである。

＜第１実施形態＞
第１実施形態に係る車載機器操作システムについて図面を参照して説明する。図１に示されるように、本実施形態の車載機器操作システムが適用された車両１０の車室前部には、インストルメントパネル１２が配設されている。また、インストルメントパネル１２の前端部にはウインドシールドガラス１４が配設されており、このウインドシールドガラス１４は、車両上下方向かつ車両幅方向に延在されて車室内と車室外とを区画している。

ウインドシールドガラス１４には、表示部であるヘッドアップディスプレイ１８（以下、適宜「ＨＵＤ１８」と称する。）が設けられている。ＨＵＤ１８は、ウインドシールドガラス１４における運転席の車両前方側の領域に設定されている。そして、インストルメントパネル１２の内部に設けられた図示しない投影装置からウインドシールドガラス１４へ映像を投影することで、このＨＵＤ１８に情報が表示される構成である。

インストルメントパネル１２における運転席側（車両右側）には、図示しないステアリングコラムを介してステアリングホイール１６が設けられている。ステアリングホイール１６は、略円環状のリム部１６Ａを備えている。また、リム部１６Ａの内周側には中央部を構成するハブ部１６Ｂが設けられており、リム部１６Ａとハブ部１６Ｂとが複数（本実施形態では３つ）のスポーク部１６Ｃによって連結されている。

スポーク部１６Ｃは、リム部１６Ａの右側とハブ部１６Ｂとの間、リム部１６Ａの左側とハブ部１６Ｂとの間、及びリム部１６Ａの下側とハブ部１６Ｂとの間の三カ所に設けられている。ここで、リム部１６Ａの右側とハブ部１６Ｂとの間のスポーク部１６Ｃには、操作部の一例としての右側ステアリングスイッチ２４Ｒが設けられている。また、リム部１６Ａの左側とハブ部１６Ｂとの間のスポーク部１６Ｃには、操作部の一例としての左側ステアリングスイッチ２４Ｌが設けられている。右側ステアリングスイッチ２４Ｒ及び左側ステアリングスイッチ２４Ｌの詳細については後述する。なお、以下の説明において、右側ステアリングスイッチ２４Ｒと左側ステアリングスイッチ２４Ｌとを区別しない場合には、単に「ステアリングスイッチ２４」と称する。

インストルメントパネル１２における車両幅方向の中央部には、表示部であるセンタディスプレイ２０が設けられている。また、センタディスプレイ２０の下方には、操作部の一例としての操作パネル２２が設けられており、この操作パネル２２は、複数の操作ボタン２２Ａを含んで構成されている。そして、特定の操作ボタン２２Ａを押圧する等して、車載機器の一例としてのオーディオ装置３２や空調装置３４（図６参照）の操作が行われる。また、この他に、操作ボタン２２Ａを押圧する等して、センタディスプレイ２０に表示されている情報の変更や、ナビゲーションシステムの操作が行われる。

また、インストルメントパネル１２における運転席の車両前方側には、集音部としてのマイク２６が設けられている。そして、本実施形態では、このマイク２６によって乗員（特に運転者）の音声を集音するように構成されている。

（ハードウェア構成）
図６に示されるように、車載機器操作システムは、制御部であるＥＣＵ（Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３０を備えている。また、ＥＣＵ３０は、マイク２６、ＨＵＤ１８、ステアリングスイッチ２４、センタディスプレイ２０、操作パネル２２、オーディオ装置３２、空調装置３４、シート制御装置３６及び照度センサ３８と電気的に接続されている。

オーディオ装置３２は、作動されることで音楽等を再生し、車室内に設けられた図示しないスピーカから音楽等を出力させる。また、空調装置３４は、作動されることで任意の温度に調整された空気を車室内へ吹き出させる。

シート制御装置３６は、車両用シートを制御する装置である。具体的には、シート制御装置３６によって車両用シートの車両前後方向の位置、車両用シートの高さ、及び車両用シートのリクライニング角度等を変更させることができる。また、本実施形態のシート制御装置３６は、車両用シートのシートバック内に設けられた空気袋を膨張収縮させることで、乗員の背部のマッサージを行うことができるように構成されている。そして、本実施形態では、オーディオ装置３２、空調装置３４及びシート制御装置３６が車載機器に対応している。

照度センサ３８は、例えば車室内に設けられており、車両１０の周囲の照度を検知するように構成されている。

図７は、車載機器操作システムを構成するＥＣＵ３０のハードウェア構成を示すブロック図である。この図７に示されるように、ＥＣＵ３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）４０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４４、ストレージ４６及び通信インタフェース４８を含んで構成されている。各構成は、バス５０を介して相互に通信可能に接続されている。

ＣＰＵ４０は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ４０は、ＲＯＭ４２又はストレージ４６からプログラムを読み出し、ＲＡＭ４４を作業領域としてプログラムを実行する。ＣＰＵ４０は、ＲＯＭ４２又はストレージ４６に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。

ＲＯＭ４２は、各種プログラムおよび各種データを格納する。ＲＡＭ４４は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ４６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。

通信インタフェース４８は、ＥＣＵ３０がサーバ及び他の機器と通信するためのインタフェースであり、たとえば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）などの規格が用いられる。

（機能構成）
車載機器操作システムは、図６及び図７に示されるハードウェア資源を用いて、各種の機能を実現する。車載機器操作システムが実現する機能構成について図８を参照して説明する。

図８に示されるように、車載機器操作システムは、機能構成として、音声記録部５２、音声抽出部５４、音声判断部５６、車載機器作動部５８、表示強調部６０、輝度変更部６２及び光源選択部６４を備えている。各機能構成は、ＥＣＵ３０のＣＰＵ４０がＲＯＭ４２又はストレージ４６に記憶されたプログラムを読み出し、実行することにより実現される。

音声記録部５２は、マイク２６で集音された乗員の音声を記録する。また、音声抽出部５４は、音声記録部５２で記録された音声から特定の言葉を抽出する。ここでいう特定の言葉とは、車載機器への指示に関する言葉であり、本実施形態では、オーディオ装置３２、空調装置３４及びシート制御装置３６の何れかの車載機器への指示に関する言葉を抽出する。なお、具体的な車載機器の名称が含まれていない場合であっても、車載機器への指示であるとして特定の言葉を抽出してもよい。例えば、乗員が「暑い」と発話した場合、空調装置３４への指示として言葉を抽出してもよい。

音声判断部５６は、音声抽出部５４で抽出された乗員の音声の内容から車載機器への指示が含まれているか否かを判断する。具体的には、音声判断部５６は、乗員の音声の内容から操作対象の車載機器と操作内容とを判断する。

車載機器作動部５８は、乗員が指示した操作内容に沿って操作対象の車載機器を作動させる。例えば、乗員が「暑い」と発話した場合、操作対象となる車載機器が空調装置３４であると判断する。そして、車載機器作動部５８は、空調装置３４を作動させて車室内に冷風を導入させる。既に空調装置３４によって車室内に冷風が導入されている場合には、車載機器作動部５８は、空調装置３４を作動させて車室内に導入させる冷風の温度を下げるか、又は風量を上げる。

表示強調部６０は、車載機器作動部５８で作動された車載機器の操作部を強調表示させる。図２に示されるように、本実施形態では一例として、空調装置３４の操作部が左側ステアリングスイッチ２４Ｌに設定されているため、この左側ステアリングスイッチ２４Ｌを点灯又は点滅させることで強調表示を行う。

図８に示されるように、輝度変更部６２は、表示強調部６０で操作部を点灯又は点滅させる場合の輝度を変更させる。具体的には、輝度変更部６２は、照度センサ３８（図６参照）で検知された車両１０の周囲の照度に応じて輝度を変更させる。すなわち、照度センサ３８で検知された車両１０の周囲の照度が低くなるにつれて操作部の点灯時又は点滅時における輝度を下げる。逆に、照度センサ３８で検知された車両１０の周囲の照度が高くなるにつれて輝度を上げるように輝度を変更させる。

光源選択部６４は、操作部を点灯又は点滅させる場合の照明の光源を選択する。本実施形態では、右側ステアリングスイッチ２４Ｒ及び左側ステアリングスイッチ２４Ｌを点灯又は点滅させる光源を複数備えており、それぞれ光源の色が異なっている。そして、光源選択部６４は、照度センサ３８で検知された車両１０の周囲の照度に応じて、乗員が見易い色の光源を選択して右側ステアリングスイッチ２４Ｒ及び左側ステアリングスイッチ２４Ｌを点灯又は点滅させる。

（表示情報の説明）
ここで、本実施形態のＨＵＤ１８に表示される表示情報について説明する。本実施形態のＨＵＤ１８には、車載機器の情報が階層的に表示される。図３（Ａ）は、第１階層（ホーム画面）のメニュー画面を示したものである。この第１階層では、上下左右に４つのアイコンが表示されている。

第１階層の画面上部には、オーディオのアイコン１０２が表示されており、このアイコン１０２は、オーディオ装置３２の機能に関するアイコンとなっている。第１階層の画面左部には空調のアイコン１０４が表示されており、このアイコン１０４は、空調装置３４の機能に関するアイコンとなっている。

第１階層の画面下部には、シートのアイコン１０６が表示されており、このアイコン１０６は、シート制御装置３６の機能に関するアイコンとなっている。第１階層の画面右部には、その他の機能に関するアイコン１０８が表示されている。

ここで、図１に示されるステアリングスイッチ２４は、静電容量式のセンサを備えており、乗員の手指のスワイプ操作を検知できるようになっている。また、ステアリングスイッチ２４は、押圧可能に構成されており、スワイプ操作で任意のアイコンを選択した後、押圧することで決定される。

図３（Ｂ）は、第２階層のメニュー画面を示したものである。この第２階層は、左側ステアリングスイッチ２４Ｌをスワイプ操作してアイコン１０２を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合に表示される画面である。第２階層の画面上部には、音源選択のアイコン１１０が表示されており、このアイコン１１０は、オーディオ装置３２の音源を変更するためのアイコンとなっている。例えば、アイコン１１０が選択されることで、オーディオ装置３２の記憶領域に蓄積されている音楽からラジオへ音源が切り替えられる。

第２階層の画面左部には、再生モード切替用のアイコン１１２が表示されており、このアイコン１１２が決定されることで、例えば、音楽の再生モードを切り替えることができるようになっている。

第１階層の画面下部には、音源選択のアイコン１１４が表示されている。アイコン１１４は、アイコン１１０と同様にオーディオ装置３２の音源を変更するためのアイコンとなっている。また、アイコン１１０とは逆の順序で音源を切り替えるためのアイコンとなっている。

第２階層の画面右部には、その他の機能に関するアイコン１１６が表示されている。また、第２階層では、画面中央部１１７を選択できるようになっており、この画面中央部１１７を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合、第１階層のメニュー画面に戻るようになっている。

図３（Ｃ）は、第３階層のメニュー画面を示したものである。この第３階層は、左側ステアリングスイッチ２４Ｌをスワイプ操作してアイコン１１６を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合に表示される画面である。

第３階層の画面上部には、音量を上げるためのアイコン１１８が表示されており、画面下部には、音量を下げるためのアイコン１２２が表示されている。第３階層の画面左部には、消音するためのアイコン１２０が表示されている。また、第３階層の画面中央部１２３を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合、第２階層のメニュー画面に戻るようになっている。

図４（Ａ）は、図３（Ｂ）とは異なる第２階層のメニュー画面を示したものである。この第２階層は、第１階層において、左側ステアリングスイッチ２４Ｌをスワイプ操作してアイコン１０４（図３（Ａ）参照）を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合に表示される画面である。

第２階層は、空調装置３４によって温度調整された空気の送風先を決定するための画面であり、画面上部のアイコン１２６は、送風先を自動で制御するためのアイコンであり、このアイコン１２６が決定されると、車室内の温度を均一に保つように送風先が自動で選択される。また、画面下部のアイコン１３０は、後席へ送風させるためのアイコンである。

画面右部の画面アイコン１２４は、運転席へ送風させるためのアイコンである。また、画面左部のアイコン１２８は、助手席へ送風させるためのアイコンである。さらに、第２階層の画面中央部１３１を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合、第１階層のメニュー画面に戻るようになっている。

図４（Ｂ）は、図３（Ｃ）とは異なる第３階層のメニュー画面を示したものである。この第３階層は、図４（Ａ）において、アイコン１２４、アイコン１２８又はアイコン１３０が決定された場合に表示される。

第３階層の画面上部のアイコン１３２は、送風量を上げるためのアイコンであり、画面上部のアイコン１３６は、送風量を下げるためのアイコンである。また、画面右部のアイコン１３８は、設定温度を上げるためのアイコンであり、画面左部のアイコン１３４は、設定温度を下げるためのアイコンである。さらに、第３階層の画面中央部１３９を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合、第２階層のメニュー画面に戻るようになっている。

図５（Ａ）は、図３（Ｂ）及び図４（Ａ）とは異なる第２階層のメニュー画面を示したものである。この第２階層は、第１階層において、左側ステアリングスイッチ２４Ｌをスワイプ操作してアイコン１０６（図３（Ａ）参照）を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合に表示される画面である。

第２階層の画面上部のアイコン１４１は、シートの高さを変更するためのアイコンであり、画面左部のアイコン１４０は、リクライニング角度を変更するためのアイコンである。また、画面下部のアイコン１４２は、マッサージ機能を操作するためのアイコンであり、画面右部のアイコン１４４は、シートの前後位置を変更するためのアイコンである。さらに、第２階層の画面中央部１４５を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合、第１階層のメニュー画面に戻るようになっている。

図５（Ｂ）は、第３階層のメニュー画面を示したものであり、図５（Ａ）において、アイコン１４２が決定された場合に表示される。第３階層の画面上部のアイコン１４６は、マッサージのパワーを上げるためのアイコンであり、画面下部のアイコン１５０は、マッサージのパワーを下げるためのアイコンである。

第３階層の画面左部のアイコン１４８は、マッサージのパワーを自動的に調整するためのアイコンであり、画面右部のアイコン１５２は、マッサージを停止させるためのアイコンである。また、第３階層の画面中央部１５３を選択した状態で左側ステアリングスイッチ２４Ｌを押圧した場合、第２階層のメニュー画面に戻るようになっている。

以上のように、本実施形態では、左側ステアリングスイッチ２４Ｌを操作した場合にＨＵＤ１８に図３～５の画面が表示されるようになっている。なお、右側ステアリングスイッチ２４Ｒを操作した場合には、クルーズコントローズの機能に関する情報等がＨＵＤ１８に表示されるようになっている。

（車載機器操作処理の一例）
次に、車載機器操作システムによる車載機器操作処理の流れの一例について、図９のフローチャートを参照して説明する。この車載機器操作処理は、例えば車両１０のイグニッション（パワー）がＯＮにされた際に実行され、ＣＰＵ４０がＲＯＭ４２又はストレージ４６からプログラムを読み出して、ＲＡＭ４４に展開して実行することによって行われる。また、車載機器操作処理は、例えば数ｍｓｅｃ程度の時間をあけて繰り返し実行される。

図９に示されるように、ＣＰＵ４０は、ステップＳ２０２で発話が検知されたか否かについて判断する。具体的には、ＣＰＵ４０は、集音部であるマイク２６（図６参照）で乗員の音声が集音された場合には、発話が検知されたと判断してステップＳ２０４の処理へ移行する。また、ＣＰＵ４０は、マイク２６で乗員の音声が集音されていない場合には、車載機器操作処理を終了させる。

ＣＰＵ４０は、ステップＳ２０４で音声の記録を開始させ、ステップＳ２０６で音声判断部５６（図８参照）の機能により、記録された乗員の音声に車載機器への指示が含まれているか否かを判断する。以下の説明では、車載機器の一例として、空調装置３４を作動させる場合における処理について説明する。このため、ＣＰＵ４０は、ステップＳ２０６で空調装置３４への指示が含まれているか否かについて判断する。

ＣＰＵ４０は、乗員の音声から空調装置３４への指示が含まれていると判断した場合には、ステップＳ２０８の処理へ移行する。また、ＣＰＵ４０は、空調装置３４への指示が含まれていないと判断した場合には、車載機器操作処理を終了させる。

ＣＰＵ４０は、ステップＳ２０８で車載機器作動部５８（図８参照）の機能により、空調装置３４を作動させる。例えば、乗員が「暑い」と発話した場合、車室内の温度が下がるように空調装置３４を作動させて冷風を車室内へ送風させる。また、乗員が「寒い」と発話した場合、車室内の温度が上がるように空調装置３４を作動させて温風を車室内へ送風させる。さらに、乗員が「エアコンをつけて」と発話した場合、空調装置３４を作動させて予め設定された温度に調整された空気を車室内に送風させるようにしてもよい。

ＣＰＵ４０は、ステップＳ２１０では、表示強調部６０（図８参照）の機能により左側ステアリングスイッチ２４Ｌを点灯又は点滅させる。本実施形態では一例として、図２に示されるように、左側ステアリングスイッチ２４Ｌを点灯させる。このとき、左側ステアリングスイッチ２４Ｌを点灯させる照明の輝度及び光源は、輝度変更部６２及び光源選択部６４（図８）の機能により、照度センサ３８（図６参照）で検知された車両１０の周囲の照度に応じて調節される。

図９に示されるように、ＣＰＵ４０は、ステップＳ２１２でＨＵＤ１８（図２参照）に情報を表示させる。具体的には、図４（Ｂ）に示されるように、第３階層のメニュー画面を表示させる。すなわち、ＣＰＵ４０は、ＨＵＤ１８に空調装置３４を手動操作可能な情報を表示させることで、空調装置３４における送風量及び設定温度の変更が可能な状態にさせる。

図９に示されるように、ＣＰＵ４０は、ステップＳ２１４で左側ステアリングスイッチ２４Ｌから乗員の手指が離れているか否かについて判断する。左側ステアリングスイッチ２４Ｌは、静電容量式のセンサを備えているため、静電容量の変化が無い場合には、ＣＰＵ４０は、乗員の手指が左側ステアリングスイッチ２４Ｌから離れていると判断し、ステップＳ２１６の処理へ移行する。

一方、左側ステアリングスイッチ２４Ｌに手指が触れている場合には、ＣＰＵ４０は、乗員が左側ステアリングスイッチ２４Ｌを操作していると判断し、左側ステアリングスイッチ２４Ｌから乗員の手指が離れるまでステップＳ２１４の処理を繰り返す。

ＣＰＵ４０は、ステップＳ２１６で所定時間が経過したか否かについて判断する。そして、ＣＰＵ４０は、左側ステアリングスイッチ２４Ｌから手指が離れている状態で所定時間が経過した場合には、ステップＳ２１８の処理へ移行する。

ＣＰＵ４０は、ステップＳ２１８で左側ステアリングスイッチ２４Ｌを消灯させる。すなわち、左側ステアリングスイッチ２４Ｌが操作されずに所定時間が経過した場合、左側ステアリングスイッチ２４Ｌを強調表示させる前の状態に戻す。そして、ＣＰＵ４０は、車載機器操作処置を終了させる。

（作用）
次に、本実施形態の作用について説明する。

本実施形態の車載機器操作システムでは、図８に示されるように、車載機器作動部５８を備えており、この車載機器作動部５８は、音声判断部５６によって車載機器への指示が含まれていると判断された場合に、車載機器を作動させる。これにより、乗員がステアリングスイッチ２４等の操作部を通じて手動操作を行うことなく車載機器を作動させることができる。

また、車載機器操作システムは表示強調部６０を備えており、この表示強調部６０によって車載機器作動部５８で作動された車載機器を手動操作するための操作部（本実施形態では、左側ステアリングスイッチ２４Ｌ）を強調表示させる。これにより、乗員が車載機器を作動させるための操作部の位置を探す手間を省くことができる。すなわち、音声認識機能によって車載機器を作動させた後、引き続き手動操作によって車載機器の状態を変化させることができる。例えば、乗員が「暑い」と発話した場合には、車載機器作動部５８の機能により車室内の温度が下がるように空調装置３４が作動して冷風を車室内へ送風させると共に、表示強調部６０の機能により左側ステアリングスイッチ２４Ｌを点灯させる。これにより、乗員がさらに設定温度を下げたい場合には、点灯している左側ステアリングスイッチ２４Ｌを操作すればよいことが直感的に分かるため、車載機器の操作性を向上させることができる。

さらに、本実施形態では、図１に示されるように、ステアリングホイール１６に設けられた右側ステアリングスイッチ２４Ｒ及び左側ステアリングスイッチ２４Ｌを操作部としている。これにより、運転者が手動操作によって車載機器を作動させる場合に、ステアリングホイール１６から手を離さずに済む。

さらにまた、本実施形態では、左側ステアリングスイッチ２４Ｌを点灯させることで強調表示を行っている。これにより、乗員に対して車載機器の操作部の位置を直感的に認識させることができる。

また、本実施形態では、図８に示された輝度変更部６２の機能により、車両１０の周囲の照度が低くなるにつれて左側ステアリングスイッチ２４Ｌの点灯時における輝度を下げる。一方、車両１０の周囲の照度が高くなるにつれて左側ステアリングスイッチ２４Ｌの輝度を上げる。これにより、一定の輝度で左側ステアリングスイッチ２４Ｌを点灯又は点滅させる場合と比較して、快適性を向上させることができる。すなわち、車両１０の周囲が暗い場合に操作部が眩しく感じるのを抑制することができる。また、車両１０の周囲が明るい場合に点灯又は点滅している操作部の位置を認識し難くなるのを抑制することができる。特に、ステアリングスイッチ２４等の操作部は、操作パネル２２と比較して運転者から近い位置に配置されているため、輝度を調整することで、快適性をより向上させることができる。

ここで、光源選択部６４の機能により車両１０の周囲の照度に応じて照明の光源を選択すれば、輝度を変更する場合と同様の効果を得ることができる。すなわち、車両１０の周囲が暗い場合には、暗い色の光源を用いて左側ステアリングスイッチ２４Ｌを点灯させ、車両１０の周囲が明るい場合には、明るい色の光源を用いて左側ステアリングスイッチ２４Ｌを点灯させることで、快適性を向上させることができる。

さらに、本実施形態では、図９のフローチャートに示すように、左側ステアリングスイッチ２４Ｌが点灯している状態で、左側ステアリングスイッチ２４Ｌを操作せずに所定時間が経過した場合に左側ステアリングスイッチ２４Ｌの照明を消灯させる。これにより、乗員が特別な操作を行うことなく強調表示状態を解除させることができる。

さらにまた、本実施形態では、作動させた車載機器の情報をＨＵＤ１８に表示させることで、車載機器が作動されたことを運転者に視認させることができる。また、空調装置３４を手動操作可能な第３階層の情報を表示させることで、運転者がＨＵＤ１８を見ながら引き続き手動操作を行うことができる。

なお、上記実施形態の車載機器操作処理では、車載機器作動部５８の機能によって空調装置３４等の車載機器を作動させると共に、操作部の強調表示を行ったが、これに限定されない。例えば、図１０のフローチャートに示す車載機器操作処理を行うようにしてもよい。

（変形例）
図１０に示されるように、ステップＳ３０２～ステップＳ３０６は、図９のステップＳ２０２～ステップＳ２０６と同様の処理を行う。すなわち、ＣＰＵ４０は、ステップＳ３０２で発話が検知されたか否かについて判断し、発話が検知された場合にはステップＳ３０４で音声の記録を開始させる。また、ＣＰＵ４０は、ステップＳ３０６で記録された乗員の音声に車載機器への指示が含まれているか否かを判断する。ここでは、車載機器の一例として、空調装置３４を作動させる場合における処理について説明する。このため、ＣＰＵ４０は、空調装置３４への指示が含まれているか否かについて判断する。

ＣＰＵ４０は、ステップＳ３０６で空調装置３４への指示が含まれている場合には、ステップＳ３０８に移行して空調装置３４を操作可能な状態にする。また、ＣＰＵ４０は、ステップＳ３１０で表示強調部６０（図８参照）の機能により、図２に示されるように、左側ステアリングスイッチ２４Ｌを点灯させる（図２参照）。

さらに、ＣＰＵ４０は、ステップＳ３１２でＨＵＤ１８に情報を表示させる。具体的には、図４（Ｂ）に示されるように、第３階層のメニュー画面を表示させる。すなわち、本本変形例に係る車載機器操作処理では、ＣＰＵ４０は、空調装置３４を操作可能な状態とした上で左側ステアリングスイッチ２４Ｌを点灯させ、さらにＨＵＤ１８に空調装置３４の状態を表示させる。なお、ここでいう「操作可能な状態」とは、乗員が１アクションで車載機器を作動できる状態のことを指す。例えば、乗員が手動操作によって空調装置３４を作動させて、運転席へ送風させる温度を変更する場合、図３（Ａ）に示された第１階層のメニュー画面から空調のアイコン１０４を決定し、続いて図４（Ａ）に示された第２階層のメニュー画面からアイコン１２４を決定する必要がある。これに対して、本変形例では、ステップＳ３０８からステップＳ３１２の処理が行われることで、運転者が点灯している左側ステアリングスイッチ２４Ｌを手動操作して押圧するだけで、温度を変更させることができる。

ステップＳ３１４以降の処理は、図９のステップＳ２１４と同様である。すなわち、ステップＳ３１４で左側ステアリングスイッチ２４Ｌから乗員の手指が離れているか否かについて判断し、手指が離れている場合には、ステップＳ３１６で所定時間が経過したか否かについて判断する。そして、ＣＰＵ４０は、左側ステアリングスイッチ２４Ｌから手指が離れている状態で所定時間が経過した場合には、ステップＳ３１８の処理へ移行し、左側ステアリングスイッチ２４Ｌを消灯させる。

以上のように、本変形例に係る車載機器操作処理では、音声認識機能による空調装置３４（車載機器）の作動は行われず、空調装置３４（車載機器）を操作可能な状態にさせる。このように、空調装置３４の手動操作を乗員が行うように促すことで、例えば窓ガラスを開けて車室内の温度を調整したい場合等において、空調装置３４が勝手に作動されるのを抑制することができる。また、例えば、乗員が会話の中で「音楽」と発話した場合に誤ってオーディオ装置３２が作動されるのを抑制することができる。なお、図１０において、ステップＳ３０８、ステップＳ３１０及びステップＳ３１２の処理は、ほとんど同時に行われるものであるため、順序が入れ替わってもよい。

＜第２実施形態＞
次に、第２実施形態に係る車載機器操作システムについて説明する、なお、第１実施形態と同様の構成については同じ符号を付し、適宜説明を省略する。

図１１に示されるように、本実施形態の車載機器操作システムが適用された車両７０のインストルメントパネル１２における運転席側（車両右側）には、図示しないステアリングコラムを介してステアリングホイール１６が設けられている。ステアリングホイール１６は、リム部１６Ａとハブ部１６Ｂと複数（本実施形態では３つ）のスポーク部１６Ｃとを含んで構成されている。

ここで、本実施形態では、ステアリングホイール１６に操作部が設けられていない。すなわち、第１実施形態の右側ステアリングスイッチ２４Ｒ及び左側ステアリングスイッチ２４Ｌが設けられていない。また、本実施形態では、ウインドシールドガラス１４に表示部が設けられていない。すなわち、第１実施形態のＨＵＤ１８が設けられていない。その他の構成は第１実施形態と同様である。

図１３に示されるように、車載機器操作システムは、制御部であるＥＣＵ３０を備えている。また、ＥＣＵ３０は、マイク２６、センタディスプレイ２０、操作パネル２２、オーディオ装置３２、空調装置３４、シート制御装置３６及び照度センサ３８と電気的に接続されている。また、ＥＣＵ３０のハードウェア構成は、図７のブロック図と同様である。

（車載機器操作処理の一例）
次に、車載機器操作システムによる車載機器操作処理の流れの一例について、図１４のフローチャートを参照して説明する。この車載機器操作処理は、例えば車両７０のイグニッション（パワー）がＯＮにされた際に実行され、ＣＰＵ４０がＲＯＭ４２又はストレージ４６からプログラムを読み出して、ＲＡＭ４４に展開して実行することによって行われる。また、車載機器操作処理は、例えば数ｍｓｅｃ程度の時間をあけて繰り返し実行される。

図１４に示されるように、ＣＰＵ４０は、ステップＳ４０２で発話が検知されたか否かについて判断する。具体的には、ＣＰＵ４０は、集音部であるマイク２６（図６参照）で乗員の音声が集音された場合には、発話が検知されたと判断してステップＳ４０４の処理へ移行する。また、ＣＰＵ４０は、マイク２６で乗員の音声が集音されていない場合には、車載機器操作処理を終了させる。

ＣＰＵ４０は、ステップＳ４０４で音声の記録を開始させ、ステップＳ４０６で音声判断部５６（図８参照）の機能により、記録された乗員の音声に車載機器への指示が含まれているか否かを判断する。ここでは、車載機器の一例として、空調装置３４を作動させる場合における処理について説明する。このため、ＣＰＵ４０は、ステップＳ４０６で空調装置３４への指示が含まれているか否かについて判断する。

ＣＰＵ４０は、乗員の音声から空調装置３４への指示が含まれていると判断した場合には、ステップＳ４０８の処理へ移行する。また、ＣＰＵ４０は、空調装置３４への指示が含まれていないと判断した場合には、車載機器操作処理を終了させる。

ＣＰＵ４０は、ステップＳ４０８で車載機器作動部５８（図８参照）の機能により、空調装置３４を作動させる。また、ＣＰＵ４０は、ステップＳ４１０で表示強調部６０（図８参照）の機能により、操作パネル２２を点灯又は点滅させる。図１２に示されるように、本実施形態では一例として、操作パネル２２の右端に配置された上下の操作ボタン２２Ａを点灯させる。このとき、操作ボタン２２Ａを点灯させる照明の輝度及び光源は、輝度変更部６２及び光源選択部６４（図８）の機能により、照度センサ３８（図６参照）で検知された車両７０の周囲の照度に応じて変更される。また、点灯している操作ボタン２２Ａは、空調装置３４を手動操作するためのボタンとなっている。

図１４に示されるように、ＣＰＵ４０は、ステップＳ４１２でセンタディスプレイ２０（図１２参照）に情報を表示させる。表示画面についての説明は省略するが、図４（Ｂ）に示される第３階層のメニュー画面と同様の内容の画面を表示させる。すなわち、ＣＰＵ４０は、センタディスプレイ２０に空調装置３４の状態を表示させ、空調装置３４における送風量及び設定温度の変更が可能な状態にさせる。

図１４に示されるように、ＣＰＵ４０は、ステップＳ４１４で操作パネル２２から乗員の手指が離れているか否かについて判断する。そして、ＣＰＵ４０は、操作パネル２２から乗員の手指が離れている場合には、ステップＳ４１６の処理へ移行する。

一方、操作パネル２２に手指が触れている場合、すなわち、操作ボタン２２Ａが操作されている場合には、ＣＰＵ４０は、操作ボタン２２Ａの操作が終了するまでステップＳ４１４の処理を繰り返す。

ＣＰＵ４０は、ステップＳ４１６で所定時間が経過したか否かについて判断する。そして、ＣＰＵ４０は、操作パネル２２（操作ボタン２２Ａ）から手指が離れている状態で所定時間が経過した場合には、ステップＳ４１８の処理へ移行する。

ＣＰＵ４０は、ステップＳ４１８で操作ボタン２２Ａを消灯させる。すなわち、操作ボタン２２Ａが操作されずに所定時間が経過した場合、この操作ボタン２２Ａを強調表示させる前の状態に戻す。そして、ＣＰＵ４０は、車載機器操作処置を終了させる。

（作用）
次に、本実施形態の作用を説明する。

本実施形態に係る車載機器操作システムでは、ＨＵＤやステアリングスイッチが設けられていない車両であっても、車載機の操作性を向上させることができる。その他の作用については第１実施形態と同様である。

以上、実施形態について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることはもちろんである。例えば、上記実施形態では、図１に示されるように、集音部であるマイク２６を運転席の前方に設けたが、マイク２６の位置や数については限定しない。車室内の天井部に複数のマイクを設けて、車室内の全ての乗員が発話した音声を集音させるようにしてもよい。

また、上記実施形態では、車載機器として空調装置３４を作動させる場合の車載機器操作処理の流れについて説明したが、オーディオ装置３２やシート制御装置３６等の他の車載機器を作動させる場合にも適用される。例えば、車載機器としてオーディオ装置３２を作動させる場合、ＣＰＵ４０は、図９のステップＳ２０６でオーディオ装置３２への指示が含まれているか否かについて判断する。そして、乗員が「音楽を流して」と発話した場合、オーディオ装置３２を作動させて車室内に音楽を流す。また、音楽が流れている状態で乗員が「音量を下げて」と発話した場合、音量を小さくするようにオーディオ装置３２を作動させるようにしてもよい。さらに、ＣＰＵ４０は、ステップＳ２１２でＨＵＤ１８に図３（Ｃ）で示された第３階層のメニュー画面を表示させるようにしてもよい。このようにすれば、乗員が第１階層及び第２階層の手動操作を行うことなく音量を変更することができる。

さらに、上記実施形態では、操作部として左側ステアリングスイッチ２４Ｌを点灯させる場合について説明したが、これに限定されない。例えば、右側ステアリングスイッチ２４Ｒが操作部である場合では、右側ステアリングスイッチ２４Ｒが点灯される。また、右側ステアリングスイッチ２４Ｒ及び左側ステアリングスイッチ２４Ｌを点滅させるようにしてもよい。

さらにまた、上記実施形態では、図１２に示されるように、操作ボタン２２Ａを同じ色で点灯又は点滅させたが、これに限定されない。例えば、点灯又は点滅している上下の操作ボタン２２Ａのうち、上側の操作ボタン２２Ａを赤色で点灯させ、下側の操作ボタン２２Ａを青色で点灯させるようにしてもよい。このようにすれば、運転者から操作ボタン２２Ａまでの距離が離れている場合であっても、運転者が直感的に設定温度等を上昇させるボタンと下降させるボタンとを区別することができる。

また、図１２では、操作ボタン２２Ａを操作部としたが、これに限定されない。例えば、ダイヤル式の操作部を用いた構造では、このダイヤル式の操作部を点灯又は点滅させるようにしてもよい。さらに、タッチパネル式のセンタディスプレイを備えた構造では、センタディスプレイに表示されたボタンを模した部分を点灯又は点滅させるようにしてもよい。

さらに、上記実施形態では、操作部を点灯又は点滅させることで強調表示を行ったが、これに限定されない。例えば、車室内の意匠性を向上させるために操作部全体を点灯させた状態が初期状態となっている車両では、表示強調部の機能により特定のボタン及びスイッチを除いて操作部を消灯させるようにしてもよい。これにより、車載機器を手動操作させるための操作部だけが点灯状態を維持しているため、乗員に操作部の位置を知らせることができる。また、特定のボタン及びスイッチだけを点滅させるようにしてもよく、特定のボタン及びスイッチだけを他の色で点灯させるようにしても同様の効果が得られる。

さらにまた、図９のフローチャートでは、車載機器作動部５８の機能により空調装置３４を作動させる処理について説明し、図１０のフローチャートでは、車載機器作動部５８の機能により空調装置３４を操作可能な状態にさせる処理について説明したが、これらを組み合わせてもよい。この場合、図９のステップＳ２０６において、ＣＰＵ４０は、乗員が発話した音声の内容が、空調装置３４を操作する指示であるか、又は空調装置３４を操作可能な状態にする指示であるかを判断させるようにしてもよい。そして、乗員が発話した音声の内容が空調装置３４を操作する指示である場合には、ステップＳ２０８の処理へ移行して空調装置３４を操作させる。これは、例えば、乗員が「暑い」又は「寒い」と発話した場合が該当する。

一方、乗員が発話した音声の内容が空調装置３４を操作可能な状態にする指示である場合には、ステップＳ３０８（図１０参照）の処理へ移行して空調装置３４を操作可能な状態にさせるようにしてもよい。これは、例えば、乗員が「エアコン」又は「空調」と発話した場合が該当する。

また、上記実施形態のＨＵＤ１８は、ウインドシールドガラス１４に映像を投影する構造としたが、これに限定されず、例えば、インストルメントパネル上にコンバイナを設け、このコンバイナに映像を投影させてもよい。

１８ ＨＵＤ（表示部）
２２ 操作パネル（操作部）
２４ ステアリングスイッチ（操作部）
２６ マイク（集音部）
３２ オーディオ装置（車載機器）
３４ 空調装置（車載機器）
３６ シート制御装置（車載機器）
５６ 音声判断部
５８ 車載機器作動部
６０ 表示強調部

Claims (8)

1. 乗員の音声を集音する集音部で集音された乗員の音声の内容に車載機器への指示が含まれる場合に、前記車載機器を作動させる車載機器作動部と、
   ステアリングホイールに設けられた複数の操作部のうち、前記車載機器作動部によって作動された前記車載機器の設定変更が可能な操作部を強調して表示させる表示強調部と、
   を有する車載機器操作システム。
2. 前記表示強調部は、前記操作部を点灯又は点滅させることにより強調表示させる請求項１に記載の車載機器操作システム。
3. 車両の周囲の照度が低くなるにつれて前記操作部の点灯時又は点滅時における輝度を下げ、車両の周囲の照度が高くなるにつれて前記輝度を上げる請求項２に記載の車載機器操作システム。
4. 前記操作部を点灯又は点滅させるための複数の色の光源を備えている請求項２又は３に記載の車載機器操作システム。
5. 前記表示強調部によって前記操作部が強調表示された後、前記操作部が手動操作されずに所定時間が経過した場合、前記操作部を強調表示させる前の状態に戻す請求項１～４の何れか１項に記載の車載機器操作システム。
6. 運転者が視認可能な範囲には表示部が設けられ、
   前記車載機器作動部によって前記車載機器が作動された場合には、前記表示部に前記車載機器の情報を表示させる請求項１～５の何れか１項に記載の車載機器操作システム。
7. 前記表示部には、前記車載機器の情報が階層的に表示され、
   前記車載機器作動部によって前記車載機器が作動された場合には、前記車載機器を手動操作可能な階層の情報を前記表示部に表示させる請求項６に記載の車載機器操作システム。
8. 複数の前記操作部が初期状態で点灯されており、
   前記表示強調部は、前記車載機器作動部によって作動された前記車載機器に対応する操作部を除く前記操作部を消灯させる請求項１に記載の車載機器操作システム。

Images