JP4894300B2 - 車載装置調整装置 - Google Patents

Description

本発明は、車載装置の状態を調整する車載装置調整装置に関し、特に、運転者がステアリング操作をしながら容易に車載装置の状態を調整できる車載装置調整装置に関する。

車両の運転中、運転者はステアリング、アクセル又はブレーキペダル等を操作しているので、これらから手や足を離してその他の装置を操作することは困難な状態となる。そこで車両では、運転者の音声を分析しその特徴量に基づき運転者の発した言葉を操作内容に変換する音声認識装置を備え、手や足による操作の代用とすることが行われている。

また、車両を運転中に運転者の顔や視線の方向を検出して、顔や視線の方向に前照灯の照明軸方向を制御する車両用インターフェイスが提案されている（例えば、特許文献１参照。）。カーブや右左折を走行する場合、運転者は進行する方向を注視するので、運転者の顔や視線の方向に応じて前照灯の照射軸方向を制御することで、運転中であっても前照灯を制御することができる。
特開平７−９６８０３号公報

しかしながら、音声認識装置は、「オン」や「オフ」などの不連続な状態の操作は可能であるが、車載装置の状態を連続的に調整するようなことが困難である。これは、音声では状態の連続的な尺度を表現することが困難なためである。音声操作を繰り返して、最終的に所望の状態に到達することも可能であるがその過程が煩わしい場合が多い。

また、運転者の顔向きや視線を検出して前照灯の照射軸方向を制御する場合、連続的に照射軸方向を制御できるが、これは運転者の顔向きや視線を自動的に検出して制御するものであり、運転者の意志を反映したものではない。すなわち、特許文献１記載の車両用インターフェイスでは運転者の意志による制御が困難である。

本発明は、上記問題に鑑み、走行中であっても、運転者の意志に応じて車載装置の状態の連続的な調整が容易な車載装置調整装置を提供することを目的とする。

上記課題に鑑み、本発明は、車載装置の状態を調整する車載装置調整装置において、当該車載装置調整装置を音声にて起動する起動手段（例えば、音声認識装置１２、押下ボタン）と、運転者の顔向き角度を検出する顔向き検出手段と、運転者の視線方向を検出する視線方向検出手段と、自車両の進行方向を検出する進行方向検出手段と、前記視線方向検出手段により検出された運転者の視線方向と、前記進行方向検出手段により検出された進行方向とが所定以上異なる場合、運転者に警報する警報手段と、前記視線方向と、前記進行方向とが所定以上異ならない場合、前記顔向き検出手段により検出された顔向き角度に応じて、車載装置の状態を連続的に制御する車載装置制御手段（例えば、ナビＥＣＵ１５、サスペンション制御ＥＣＵ１８等の車載装置を制御する手段）と、を有することを特徴とする。

本発明によれば、走行中であっても、運転者の意志に応じて車載装置の状態の連続的な調整が容易な車載装置調整装置を提供することができる。

また、本発明の一形態において、車載装置制御手段により制御される車載装置の状態を乗員に報知する報知手段（例えば、表示装置１６に表示される調整画面、スピーカ１７から出力される音声）、を有することを特徴とする。

本発明によれば、運転者は車載装置の調整状態を視覚又は聴覚で認識することができる。

また、本発明の一形態において、運転者の視線方向を検出する視線方向検出手段を有し、報知手段は、視線方向検出手段により検出された視線方向に車載装置の状態を表示する、ことを特徴とする。

本発明によれば、顔向き角度により音量を調整している場合であっても、運転者から見やすい位置に音量調整画面を表示することができる。

走行中であっても、運転者の意志に応じて車載装置の状態の連続的な調整が容易な車載装置調整装置を提供することができる。

以下、本発明を実施するための最良の形態を、図面を参照しながら実施例を挙げて説明する。本実施の形態の車載装置調整装置は、運転者が所定の車載装置を指定した場合に、運転者の顔向きを検出して、該車載装置の状態を連続的に調整することを可能にする。なお、連続的とは連続的と見なせる程度に多段階であればよい。

図１は車載装置調整装置の機能ブロック図を示す。図１の車載装置調整装置１はスピーカ１７の音量を調整する。音量は乗員とのインターフェイスとなるナビゲーションシステムを介して調整されるため、図１の車載装置調整装置１はナビＥＣＵ１５により制御されるものである。ナビＥＣＵ１５には、音声認識装置１２、顔向きＥＣＵ１４、表示装置１６及びスピーカ１７が接続されている。

また、ナビＥＣＵ１５には、ステアリングセンサ２１、ヨーレートセンサ２２及び車速センサ２３が、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）プロトコルを介して接続されている。

ステアリングセンサ２１は、車両の操舵角を検出するセンサでありステアリングの回転角を検出する。ステアリングの回転角と操舵角には一定の関係があるため、ステアリングの回転角を検出することで車両の操舵角が検出される。ヨーレートセンサ２２は、車両の重心を通り同車両の前後方向に延びる軸線（ローリング軸）回りの回転角速度を検出する。また、車速センサ２３は、各輪毎の車輪の回転速度に基づき車両の走行速度を検出する。後述するように、これらのセンサの検出値に基づき車両の進行方向が検出される。

〔音声認識〕
音声認識装置１２について説明する。音声認識装置１２にはマイクロフォン１１が接続されており、車室内の音を継続的に取得している。取得された音はマイクロフォン１１により電気信号に変換され、音声認識装置１２に出力される。

図２は音声認識装置１２の機能ブロック図を示す。変換された電気信号は音声分析部１２ａに入力される。音声分析部１２ａは、電気信号からフーリエ変換等の処理を施し音声の認識に有効な特徴量を抽出する。車両が走行している場合、ロードノイズ等の音声以外の雑音がマイクロフォンに入力されるが、このような雑音はフィルタなどにより除去する。

音響モデル１２ｂは、特徴量の音響に発音記号（音素）が対応する確率を対応づけたデータベースであり、予め大量の学習データに基づきから各音素の特徴がデータ化されている。音素は言語の発音の基本となる部品である。音素は実際の音（おん）の元になるが、同じ音素が前後の音素や方言、話者などによって異なる音になることがあるため母音や子音が複雑に組み合わされた音となり音素と文字とは１対１に対応しない。音響モデル１２ｂは、入力された音声の特徴量から抽出可能な音素を選択可能とする。

言語モデル１２ｄは、語彙、文法あるいは言語統計などにより、発声内容を規定する単語の辞書である。すなわち、言語モデル１２ｄを参照することで、あり得ない単語列は排除される。また、言語モデル１２ｄには各単語が使用される確率が対応付けられている。例えば、車両で使用する場合、車載装置の名称などが入力音声となる可能性が高い。

音声認識部１２ｃは、入力音声の特徴量に基づき、音響モデル１２ｂ及び言語モデル１２ｄを参照して、与えられた文法の中で、入力された特徴量にもっとも合致する音素列を選び出し、認識結果として出力する。

運転者が例えば「音量」と発声した場合、音声認識部１２ｃは「オンリョウ」という単語を認識して、単語に応じて予め定められた信号に変換してナビＥＣＵ１５に出力する。

〔顔向き認識〕
顔向き角度の認識について説明する。顔向きＥＣＵ１４には顔向きカメラ１３が接続されている。顔向きカメラ１３は、車室内の所定位置に設けられ、車両運転者の顔を含むように撮影して得られた顔画像（運転者の顔及び背景を含む画像）を顔向きＥＣＵ１４に送出する。顔向きカメラ１３は、所定の時間間隔で運転者の顔を撮影して顔向きＥＣＵ１４に顔画像を出力する。

顔向きＥＣＵ１４は、顔画像から顔の位置を検出し、顔の目の配置や輪郭線との関係に基づいて顔の向きを検出する。顔画像における顔の位置は、例えば、順次撮影される顔画像の差分演算や、顔の標準画像（テンプレート）を使用したパターンマッチング、カラーの顔画像を用いて肌色の領域を検出する等の方法がある。

順次入力される顔画像の差分演算を行うと、車や乗員の微振動のため顔の輪郭が浮かび上がる。すなわち、輪郭部分が微少移動しながら顔画像として順次撮影されるので、所定数の顔画像において変動の大きい領域が顔の位置として検出される。差分演算では、画素毎に輝度を比較して、所定以上の輝度差がある領域を検出すれば、輪郭部分を浮かび上がらせることができる。

図３（ａ）は差分画像により顔の輪郭が検出された顔画像の一例を示す。図３（ａ）では顔画像の左上を原点（０，０）、右方向をＸ軸と、下方向をＹ軸とした。差分画像から顔の位置を検出する場合、輪郭部分に輝度が変動する領域が検出されるので、輝度の変動の大きい画素をＸ方向及びＹ方向に射影すれば、顔の位置の左端と右端及び上端と下端にピークが得られる。顔向きＥＣＵ１４は、所定枚数に渡って変動画素の射影を積算することで、安定した顔の位置を検出できる。図３（ａ）では、顔の左端がｘ１、右端がｘ２，上端がｙ１、下端がｙ２に検出されている。

なお、パターンマッチングを用いる場合には、顔画像のテンプレートを用意しておき、テンプレートと顔画像とを一画素ずつずらして輝度の相関を検出し、最も相関が高くなる領域に顔画像があると検出する。この場合、顔の向きや角度が異なっても顔の位置を検出できるように、向きや角度の異なるテンプレートをいくつか用意し置くことが好ましい。なお、パターンマッチングにより顔の位置を検出する場合、ニューラルネットワークやサポートベクターマシンなど周知のパターンマッチングを用いてもよい。

ついで、顔向きＥＣＵ１４は両目の位置を検出する。例えば、顔の位置として決定された座標（ｘ１、ｙ１）、（ｘ２、ｙ２）を対角頂点とする部分画像を取り出し（顔の外接矩形）、上部半分についてＹ軸方向に１画素ずつ輝度が所定以下（濃度が高い）の画素を検出していく（２値化処理）。図３（ｂ）は顔の外接矩形の一例を示す図である。全てのＹ軸方向の画素列について検出されたら、輝度が所定以下の画素が連結された領域を抽出する。

顔であれば、頭髪、眉部及び瞳孔（黒目部分）の領域が抽出されることが予想されるため、下から、Ｘ軸方向の１画素列毎に輝度が所定以下と検出された領域を抽出し、瞳孔程度として横に比較的長く続く領域を検出することで両目の位置をそれぞれ検出できる。図３（ｂ）では左側の瞳孔位置の座標を（ｘ３，ｙ３）、右側の瞳孔位置を（ｘ４，ｙ４）とした。なお、目の色が異なる例えば外国においては輝度の閾値を変更することで対応できる。

両目の位置はパターンマッチングにより検出してもよい。テンプレートとして、予め、運転者の正面向き、斜め横向き等の両目の部分の画像データを取得しておき、それを使用して顔位置の画像として抽出された外接矩形から両目の位置を検出する。

以上のような方法により顔向きＥＣＵ１４は、まず、初期状態の顔の位置を示す座標（ｘ１、ｙ１）、（ｘ２、ｙ２）及び目の位置を示す座標（ｘ３，ｙ３）、（ｘ４，ｙ４）を検出する。初期状態の顔の向きは、例えば運転者が正面を向いている状態であるが、正面を向いていなくても顔の向きによる操作開始時の顔の向きが分かればよい。操作の開始時であることは、後述のように、運転者が音声や押下ボタンの操作により起動操作を行うことで検出される。

運転者が左右のいずれかに水平に顔を向けた場合、顔の両端の座標と両目の位置の座標の関係が変化する。図４（ａ）は運転者が左方向を向いた場合に撮影される顔画像の一例を示す。図４（ａ）に示すように、顔の左端の座標ｘ１から左目の位置の座標ｘ３までの距離「ｘ３−ｘ１」は大きくなり、両目間の距離「ｘ４−ｘ３」は狭くなり、右目の位置の座標ｘ４から顔の右端の座標ｘ２までの距離「ｘ２−ｘ４」は狭くなる。

したがって、顔向きＥＣＵ１４は、顔の端部の左右いずれが広くなるかにより顔の向いた方向を検出し、「ｘ４−ｘ３」又は「ｘ２−ｘ４」の変化により正面に対する運転者の顔向き角度を算出できる。正面を向いている場合の「ｘ４−ｘ３」をＡ、右又は左の水平方向を向いた場合の「ｘ４−ｘ３」をＢとすれは、顔向き角度Ｆ_θは次式で与えられる。
Ｆ_θ＝ａｒｃｃｏｓ（Ｂ／Ａ） … （１）
また、運転者が上下のいずれかに顔を向けた場合、顔の上下の座標と両目の位置の座標の関係が変化する。図４（ｂ）は、運転者が下向を向いた場合に撮影される顔画像の一例を示す。図４（ｂ）に示すように、顔の下端の座標ｙ２から両目の位置の座標ｙ３、ｙ４までの距離「ｙ２−ｙ３（ｙ４）」は小さくなり、両目の位置の座標ｙ３、ｙ４から顔の上端の座標ｙ１までの距離「ｙ３（ｙ４）−ｙ１」は広くなる。反対に、運転者が上方向を向いた場合、顔の下端の座標ｙ２から両目の位置の座標ｙ３、ｙ４までの距離「ｙ２−ｙ３（ｙ４）」は大きくなる。

したがって、顔向きＥＣＵ１４は、顔の下端の座標ｙ２から両目の位置座標ｙ３、ｙ４までの距離が小さくなるか大きくなるかにより顔の向いた方向を検出し、「ｙ２−ｙ３」の変化により正面に対する上下方向の運転者の顔向き角度を算出できる。正面を向いている場合の「ｙ２−ｙ３」をＣ、上又は下を向いた場合の「ｙ２−ｙ３」をＤとすれは、顔向き角度Ｆ_αは次式で与えられる。
Ｆ_α＝ａｒｃｃｏｓ（Ｄ／Ｃ） … （２）
式（１）及び（２）により顔向きＥＣＵ１４が算出した顔向き角度はナビＥＣＵ１５に送出される。なお、顔向き角度の検出方法は上述した方法に限れられるものではなく、鼻や口の位置を検出し、それらと目の位置との関係（距離）を利用してもよい。

〔視線方向の検出について〕
視線検出ＥＣＵ１９は、２つのカメラ１３Ａ及び１３Ｂに接続され、２つのカメラが同期して撮影した画像データ（以下、視線画像という）が入力される。カメラ１３Ａ又は１３Ｂのうち一方は、カメラ１３が兼用することができる。

図５（ａ）は視線検出装置の機能ブロック図を示す。撮影された画像データは視線検出ＥＣＵ１９に入力される。視線方向検出ＥＣＵ１９は、カメラ１３Ａ及び１３Ｂにより撮影された視線画像から黒目や白目などの特徴部を検出し、眼球の中心位置及び瞳孔の中心位置から視線方向を検出する。なお、カメラ１３Ａ及び１３Ｂの内部パラメータ及び相対的な位置関係は既知である。

図５（ｂ）はカメラ１３Ａ及び１３Ｂと視線画像との関係を示す図である。三次元座標算出部１９Ａは、カメラ１３Ａ及び１３Ｂで撮影さえた視線画像から対応点を検出し、運転者の眼球など特徴部までの距離を演算する。カメラ１３Ａ及び１３Ｂに撮影される視線画像は視差以外の相違点を内部パラメータで吸収するので、対応点が撮影される画素位置の違いにより特徴点までの距離Ｌが検出される。

運転者の眼球は白目の中心に瞳孔があるので、視線画像を二値化すれば瞳孔が検出される。瞳孔部分は略円形としているので、瞳孔中心算出部１９Ｂは二値化画像の黒目部分の中心（KOL、KOR）の座標を算出する。

ついで、眼球中心算出部１９Ｃは、白目部分の画像から眼球中心を算出する。白目上には、特徴部分となる多くの微細な血管がランダムに存在するため、血管のパターン同士によって左右の視線画像を対応させることができる。白目部分が対応することで、血管パターン上の正確な座標が求められる。

図５（ｃ）は眼球の概略断面を示す図である。眼球を球として考えると、白目上の血管はこの球の表面に存在することになる。また、球を特定するためには、中心座標（三次元なので３つ）及び半径がわかればよい。したがって、４つの変数が存在するため、血管上の４つの座標が与えられれば、眼球の中心座標を算出できる。

視線検出部１９Ｄは、黒目の中心座標と眼球の中心座標から視線方向を検出する。人の視線は、眼球の中心と黒目の中心を通る線に等しいとしてよいので、２点の座標を通る直線が視線方向となる。左右の眼球があるため、直線は２本得られるが、視線検出部１９Ｄは２本の直線の方向の平均を視線方向とする。

〔ナビゲーションシステム〕
ナビＥＣＵ１５はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）／ＩＮＳ（Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ）装置２により検出される車両の走行位置に基づき、道路地図を格納した地図データベースから現在の車両位置周辺の地図を表示したり、目的地までの走行経路を案内する。

また、ナビＥＣＵ１５には表示装置１６及びスピーカ１７が接続されている。表示装置１６は、液晶や有機ＥＬ、ＨＵＤ（Head Up Display）等であり、道路地図や交通情報、目的地までのルート等を表示する。なお、表示装置１６はタッチパネルなどの操作部を有していてもよい。

また、スピーカ１７は、アンプで増幅された電流により振動面が振動して音を出力する。音量は電流に比例するので、電流量を制御することで音量を制御できる。スピーカ１７からナビＥＣＵ１５が案内する交差点などの進行方向を音声により出力する。

なお、ナビＥＣＵ１５にはテレビ／ラジオの受信機が接続されていてもよい。地上放送やＨＥＯ（Highly Elliptical Orbit）衛星、ワンセグ等の電波を受信し映像及び音声を表示装置１６やスピーカ１７から出力する。また、ＤＶＤなどのメディアを再生して表示してもよい。

〔各ＥＣＵのハードウェア構成〕
顔向きＥＣＵ１４、ナビＥＣＵ１５、視線検出ＥＣＵ１９及び音声認識装置１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＮＶ−ＲＡＭ（Non-Volatile ＲＡＭ）及び通信部等がバスにより接続されたマイコンであり、ＲＯＭに格納されたプログラムをＣＰＵが実行することで後述する制御を実行する。

顔向きＥＣＵ１４は、プログラムを実行することで運転者の顔向き角度を検出する顔向き検出手段を実現する。ナビＥＣＵ１５は、プログラムを実行することで、検出された顔向き角度に応じて車載装置の状態を制御する車載装置制御手段、制御の状態を乗員に報知する報知手段、進行方向と視線方向とが異なる場合に運転者に警報する警報手段、自車両の進行方向を検出する進行方向検出手段、等を実現する。視線検出ＥＣＵ１９は、プログラムを実行することで、運転者の視線方向を検出する視線方向検出手段を実現する。音声認識装置１２は、プログラムを実行することで乗員の発した音声を認識する。

〔顔向きによる音量調整〕
以上の構成を用いて、車載装置調整装置が顔向き角度によりスピーカ１７の音量を調整する処理の手順を図６のフローチャート図に基づき説明する。

音量を調整する場合、運転者は車載装置調整装置を起動するため所定の起動操作を行う（Ｓ１１）。これにより車載装置調整装置が起動する。起動操作は、例えば、「音量」という発声やボタンのスイッチ押下など、どのようなものでもよい。本実施例では運転者が「音量」と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出する。なお、起動操作のための言葉は車載装置に応じて予め登録されている。

ナビＥＣＵ１５は音量調整を行うための音量調整手段を起動する（Ｓ１２）。また、起動したことを運転者に認識させるため、道路地図の画面やテレビの画面を終了させて、表示装置１６に音量調整画面を表示する。なお、音量調整画面は道路地図の画面やテレビの画面にスーパーインポーズしてもよい。また、ナビＥＣＵ１５は顔向き角度により音量の調整が可能になったことをスピーカ１７から音声により運転者に報知する。

図７は、音量調整画面の一例を示す。音量調整画面には右の方向が音量を大きくする方向で、左の方向が音量を小さくする方向であることが示されている。運転者はこれを参照して、どちらの方向に顔を向ければ所望の音量調整ができるか知ることができる。また、音量調整画面には現在の音量設定を示すバー１６１が表示される。

ついで、顔向きＥＣＵ１４は、顔向き角度を検出する（Ｓ１３）。音量調整画面が起動した直後に検出される顔向き角度は顔向き角度を検出するための初期状態である。初期状態の顔向き角度は左右いずれかに顔を向けていてもよいが、正面向きであることが好適である。

ついで、運転者が顔を左右いずれかに向けると順次顔向きＥＣＵ１１４は運転者の顔向きを検出し、ナビＥＣＵ１５は顔向き角度に応じてスピーカ１７の音量を制御する（Ｓ１４）。すなわち、運転者が右方向を向いたら音量を大きくし、左方向を向いたら音量を小さく制御する。顔向きＥＣＵ１４は、所定時間にほぼ決まった数のフレームを画像処理して顔向き角度を検出するので、顔向き角度の変化の速度又は変化量に応じて音量を調整できる。

ナビＥＣＵ１５は、運転者から音量調整の終了操作が検出されるか否かを判定する（Ｓ１５）。終了操作は、例えば、運転者による「音量終わり」や「終わり」という発声である。運転者が「音量終わり」と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出する。なお、終了操作のための言葉は予め登録されている。

終了操作が検出されなければ（Ｓ１５のＮｏ）、ステップＳ１３とＳ１４の制御を繰り返す。また、終了操作が検出されたら（Ｓ１５のＹｅｓ）、車載装置調整装置は音量の調整制御を終了し、表示装置１６の画面を元に戻す。

以上のように、本実施例の車載装置調整装置は、運転者が手や足による操作を行わずに、音量調整をすることができるので、走行中であっても操作の際に目線がスイッチに奪われることがなく安全性が向上する。

また、本実施例では、スピーカの音量の調整を顔向き角度で操作したが、状態が連続的に制御される車載装置、例えば、ミラー位置、クルーズコントロールによる車速設定、シート等に好適に適用することができる。

ミラーの位置の場合、運転者が例えば「ミラー、右」と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出する。ナビＥＣＵは、右側のドアミラーの角度（位置）を操作する画面を表示し、運転者の顔向き角度に応じてドアミラーの角度を制御する。すなわち、運転者が右に向けばドアミラーの角度を右向きに制御し、左に向けばドアミラーの角度を左向きに制御する。

また、表示装置１７には図８（ａ）のような車載装置の状態を示す画像が表示される。すなわち、顔向き角度に応じて調整されるドアミラーの角度が表示されるので、視覚で状態が認識できる車載装置であれば調整された状態を視覚的に運転者が確認することができる。運転者が「終了」と発声すると、操作された角度でドアミラーが固定される。なお、ドアミラーはルームミラーであってもよい。

クルーズコントロールによる車速設定の場合、通常、走行時は一定速度（以下、巡航速度という）で巡航走行し、加速ボタンやアクセルペダルを踏み込むことで車両が加速する。そして、加速終了時に加速ボタンやアクセルペダルを放せば巡航速度に自動的に減速する。

顔向き角度でクルーズコントロールによる車速を操作する場合、運転者が例えば「クルーズコントロール」と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出する。ナビＥＣＵ１５は、クルーズコントロールによる車速を操作する画面を表示し、運転者の顔向き角度に応じて車速を制御する。

顔向き角度の検出は左右それぞれの方向で可能であるが、通常、クルーズコントロール中にブレーキ操作するとクルーズコントロールが解除されるので、操作方法を統一するように検出する顔向き方向は一方向のみ（加速方向のみ）とすることが好ましい。

顔向き角度による加速の操作が終了した場合、運転者が「終了」と発声すると、自車両は巡航速度に自動的に減速する。

また、顔向き角度による加速の操作が終了した場合、運転者が「終了」と発声する前に「セット」と発声すると、発声した際の走行速度を巡航速度に設定して、巡航走行を開始する。新たな巡航速度が設定された場合、ナビＥＣＵ１５は現在の巡航速度をスピーカ１７から出力しまた表示装置１６に表示して運転者に報知する。

また、シート位置を調整する場合、運転者が例えば「シート」と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出する。ナビＥＣＵ１５は、シートのリクライニング角度を操作する画面を表示し、運転者の顔向き角度に応じてシートのリクライニング角度を制御する。例えば、運転者が右に向けばシートを倒し、左に向けばシートを立てる。また、運転者が「終了」と発声すると、操作されたリクライニング角度でシートが固定される。

また、表示装置１７には図８（ｂ）のような車載装置の状態を示す画像が表示される。すなわち、顔向き角度に応じて調整されるシートのリクライニング角度が表示されるため、視覚で認識できる車載装置であれば調整される状態を視覚的に運転者が確認することができる。

以上のように、顔向き角度で車載装置を制御すると、ボタンの位置等を把握していなくても、状態を連続的に制御するすべての車載装置を同じ操作方法で操作できるので、運転者の使い勝手が向上する。

〔顔向きによるサスペンション調整〕
本実施例の車載装置調整装置は連続的に状態を制御することがある車載装置に好適に適用できる。図９は車載装置調整装置の機能ブロック図を別の形態を示す。なお、図９において図１と同一部分には同一の符号を付しその説明は省略する。

図９の車載装置調整装置はナビＥＣＵ１５にサスペンション制御ＥＣＵ１８が接続されている。サスペンション制御ＥＣＵ１８は、いわゆる電子制御サスペンションを制御する。電子制御サスペンションは、スプリングとダンパにより車体を懸架する懸架装置において、ダンパの上部に減衰力を切換制御するアクチュエータを設けて構成される。

ダンパが内設するロータリバルブには大小複数のオリフィスが形成されており、ダンパの上部に一体に接続されたアクチュエータを駆動すると、ロータリバルブが回転してオリフィスが開閉し、通過するオイルの流量を変化させてダンパの減衰力を連続的に切り替えることができる。

サスペンション制御ＥＣＵ１８は、ナビＥＣＵ１５とＣＡＮプロトコル等によりＥＣＵ間通信を行い、顔向き角度の検出結果を受信する。すなわち、サスペンション制御ＥＣＵ１８は、顔向き角度の検出結果に基づき、各輪のダンパのアクチュエータを制御し、ダンパの減衰力を制御することができる。

なお、電子制御サスペンションではスプリングの代わりにエアバネを用いてもよい。エアバネのエア室をメインとサブの２つに分け、エア封入口からエアを出入りさせることによりバネの力を２段階とすることができ、また、乗車人数、車載重量の変化に対して車高を一定に保つことができる。エアの出入りはアクチュエータにより駆動されるエア・バルブによりエア通路を切り替えることで制御される。

サスペンション制御ＥＣＵ１８が顔向き角度によりサスペンションの減衰力（以下、硬さという）を調整する処理の手順を図１０のフローチャート図に基づき説明する。

サスペンションの硬さを調整する場合、運転者は車載装置調整装置を起動するため所定の起動操作を行う（Ｓ２１）。これにより車載装置調整装置が起動する。起動操作は、例えば、「サスペンション」という発声や、ボタンのスイッチ押下など、どのようなものでもよい。運転者が「サスペンション」と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出する。なお、起動操作のための言葉は車載装置に応じて予め登録されている。

ナビＥＣＵ１５はサスペンション調整を行うためのサスペンション調整画面を表示する（Ｓ２２）。また、ナビＥＣＵ１５は顔向き角度によりサスペンションの硬さ調整が可能になったことをスピーカ１７から音声により運転者に報知する。これにより、運転者は車載装置調整装置が起動したことを認識できる。また、ナビＥＣＵ１５は、サスペンション制御ＥＣＵ１８と通信を開始する。

図１１は、サスペンション調整画面の一例を示す。サスペンション調整画面には右の方向がサスペンションを軟らかくする方向で、左の方向が硬くする方向であることが示されている。運転者はこれを参照して、どちらの方向に顔を向ければ所望のサスペンション調整ができるか知ることができる。また、サスペンション調整画面には現在のサスペンションの硬さを示すバー１６２が表示される。

ついで、顔向きＥＣＵ１４は、顔向き角度を検出する（Ｓ２３）。サスペンション調整画面が起動した直後に検出される顔向き角度は顔向き角度を検出するための初期状態である。初期状態の顔向き角度は左右いずれかに顔を向けていてもよいが、正面向きであることが好適である。

ついで、運転者が顔を左右いずれかに向けると順次顔向きＥＣＵ１４は運転者の顔向きを検出し、ナビＥＣＵ１５は顔向き角度をサスペンション制御ＥＣＵ１８に送出するので、サスペンション制御ＥＣＵ１８は顔向き角度に応じてサスペンションの硬さを制御する（Ｓ２４）。すなわち、運転者が右方向を向いたらサスペンションを軟らかくし、左方向を向いたら硬くする。

ナビＥＣＵ１５は、運転者からサスペンションの硬さ調整の終了操作が検出されるか否かを判定する（Ｓ２５）。終了操作は、例えば、運転者による「サスペンション終わり」や「終わり」という発声である。運転者が「サスペンション終わり」と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出する。なお、終了操作のための言葉は予め登録されている。

終了操作が検出されなければ（Ｓ２５のＮｏ）、ステップＳ２３とＳ２４の制御を繰り返す。また、終了操作が検出されたら（Ｓ２５のＹｅｓ）、車載装置調整装置はサスペンションの調整制御を終了し、表示装置１６の画面を元に戻す。

以上のように、本実施例の車載装置調整装置は、運転者が手や足による操作を行わずに、サスペンションの硬さ調整ができるので、走行中であっても操作の際に目線がスイッチに奪われることがなく安全性が向上する。また、ボタンの位置等を把握していなくても、状態を連続的に制御するすべての車載装置を同じ操作方法で操作できるので、運転者の使い勝手も向上する。

〔視線の検出による警報〕
顔向き角度により車載装置を操作する場合、運転者は顔を右又は左に向けることになるが、操作中であっても視線は進行方向を向いていることが望ましい。そこで、顔向き角度による操作中、視線の方向を検出し、視線が進行方向と所定以上異なった場合、運転者に注意を促す車載装置調整装置について説明する。なお、車載装置調整装置の機能ブロック図は図１又は図９のいずれであってもよい。

車両の進行方向は、ステアリングセンサ２１により検出した操舵角やヨーレートセンサ２２により検出したヨーレートにより検出される。ナビＥＣＵ１５は車両の進行方向と視線角度が所定以上となった場合に、警報を吹聴する。

図１２は、顔向き角度により車載装置を操作中に視線が進行方向と所定以上異なった場合、ナビＥＣＵ１５が警報を吹聴する制御手順のフローチャート図を示す。なお、既に説明したステップについては簡単に説明する。

音量を調整する場合、運転者は車載装置調整装置を起動するため所定の起動操作を行う（Ｓ３１）。これにより車載装置調整装置が起動する。ナビＥＣＵ１５は音量調整を行うための音量調整手段を起動する（Ｓ３２）。また、起動したことを運転者に認識させるため、道路地図の画面やテレビの画面を終了させて、表示装置１６に音量調整画面を表示する。 ついで、顔向きＥＣＵ１４は、顔向き角度を検出する（Ｓ３３）。音量調整画面が起動した直後に検出される顔向き角度は顔向き角度を検出するための初期状態である。運転者が顔を左右いずれかに向けると順次顔向きＥＣＵ１１４は運転者の顔向きを検出する。

顔向き角度を検出するのと平行して、視線検出ＥＣＵ１９は視線画像から眼球中心及び瞳孔中心を検出しそれらから視線方向を検出する（Ｓ３４）。検出された視線方向はナビＥＣＵ１５に送出される。また、ナビＥＣＵ１５は操舵角やヨーレート等により車両の進行方向を検出する（Ｓ３５）。

図１３（ａ）は車両の進行方向と視線方向が所定以上に異なっている場合の視線方向を、図１３（ｂ）は車両の進行方向と視線方向がほぼ同じ方向である場合の視線方向を示す図である。顔向きで車載装置を操作するため、運転者は、図１３（ａ）及び（ｂ）ではいずれも右方向を向いている。しかしながら、図１３（ｂ）では運転者の視線方向は顔の正面方向に対し左になっているので、車両の進行方向とほぼ同じである。これに対し図１３（ａ）では、視線方向は顔の正面方向とほぼ同じ方向になっているので、視線方向も顔向き角度と同じ右方向になっている。

ナビＥＣＵ１５は、図１３のように視線方向と進行方向とを比較し、視線方向が進行方向と所定以上異なるか否かを判定する（Ｓ３６）。視線方向と進行方向とが所定以上異なる場合（Ｓ３６のＹｅｓ）、スピーカ１７から警報を吹聴する（Ｓ３８）。これにより、運転者は顔向き角度による操作のため、視線が進行方向とずれていることを認識でき、安全性が向上する。

視線方向が進行方向と所定以上異ならない場合（Ｓ３６のＮｏ）、ナビＥＣＵ１５は顔向き角度に応じてスピーカ１７の音量を制御する（Ｓ３７）。すなわち、運転者が右方向を向いたら音量を大きくし、左方向を向いたら音量を小さく制御する。

ナビＥＣＵ１５は、運転者から音量調整の終了操作が検出されるか否かを判定し（Ｓ３９）、運転者が「音量終わり」等と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出し、ナビＥＣＵ１５は音量の調整制御を終了する。

以上のように、本実施例の車載装置調整装置は、顔向き角度により車載装置を操作している間に運転者の視線が進行方向と大きく異なった場合、警報を吹聴して運転者に注意を促すことができる。

〔音量調整画面の表示位置の制御〕
視線方向に応じて音量調整画面の表示位置を調整する車載装置調整装置について説明する。表示位置が調整可能であることが要求されるため、本実施例に用いる表示装置１６はＨＵＤ又はプロジェクター等、表示位置を調整できるデバイスであることが好適である。

ＨＵＤは、ダッシュボード等に音量調整画面の虚像を投影する投光器を備え、アクチュエータにより投光方向を制御可能なように構成される。ナビＥＣＵ１５は視線検出ＥＣＵ１９により検出された視線方向に応じて、投光器の投光方向を制御して、運転者の視線方向に音量調整画面を表示する。

図１４は、顔向き角度に応じて音量調整画面の表示位置を制御する手順を示すフローチャート図である。

音量を調整する場合、運転者は車載装置調整装置を起動するため所定の起動操作を行う（Ｓ４１）。これにより車載装置調整装置が起動する。ナビＥＣＵ１５は音量調整を行うための音量調整手段を起動する（Ｓ４２）。また、起動したことを運転者に認識させるため、道路地図の画面やテレビの画面を終了させて、ＨＵＤによりフロントガラスに音量調整画面を表示する。

ついで、顔向きＥＣＵ１４は、顔向き角度を検出する（Ｓ４３）。音量調整画面が起動した直後に検出される顔向き角度は顔向き角度を検出するための初期状態である。運転者が顔を左右いずれかに向けると順次顔向きＥＣＵ１１４は運転者の顔向きを検出する。

ナビＥＣＵ１５は顔向き角度に応じてスピーカ１７の音量を制御する（Ｓ４４）。すなわち、運転者が右方向を向いたら音量を大きくし、左方向を向いたら音量を小さく制御する。

ついで、視線検出ＥＣＵ１９は、視線画像から眼球中心及び瞳孔中心を検出しそれらから視線方向を検出する（Ｓ４５）。検出された視線方向はナビＥＣＵ１５に送出されるので、ナビＥＣＵ１５は視線方向に応じて音量調整画面の表示位置を制御する（Ｓ４６）。

図１５は、視線方向に基づき表示された音量調整画面の一例を示す。なお、音量調整画面はフロントガラスに表示されている。図１５（ａ）では視線方向が左側であるため、左柄に音量調整画面が、図１５（ｂ）では視線方向が右側であるため右側に音量調整画面が表示されている。

ナビＥＣＵ１５は、運転者から音量調整の終了操作が検出されるか否かを判定し（Ｓ４７）、運転者が「音量終わり」等と発声すると、音声認識装置１２がその音声を認識しナビＥＣＵ１５に制御信号を送出し、ナビＥＣＵ１５は音量の調整制御を終了する。

このように、視線方向に応じて音量調整画面の表示位置が制御されることで、顔向き角度により音量を調整している場合であっても、運転者から見やすい位置に音量調整画面を表示することができる。例えば、車両がコーナを走行する場合など、運転者の視線は斜め前方の進行方向を向くので、視線方向に応じて表示位置を制御することで、運転者の視線方向、車両の進行方向及び表示位置を一致させることができる。なお、本実施例においても、車両の進行方向と運転者の視線方向とが所定以上異なる場合に、警報を吹聴してもよい。

以上のように、本実施の形態の車載装置調整装置は、走行中であっても、運転者の意志に応じて車載装置の状態の連続的な調整が容易である。また、状態を連続的に調整する場合、同じ操作方法で種々の車載装置を操作できるので運転者の使い勝手も向上する。また、顔向き角度が進行方向と大きく異なった場合には警報を吹聴できるので安全性が損なわれることもない。運転者の視線方向に応じて、調整するための画面の表示位置を制御できるため、運転者が容易に視認することができる。

車載装置調整装置の機能ブロック図である。 音声認識装置の機能ブロック図である。 差分画像により顔の輪郭が検出された顔画像の一例である。 運転者が左方向を向いた場合に撮影される顔画像の一例である。 視線検出装置の機能ブロック図である。 車載装置調整装置が顔向き角度によりスピーカの音量を調整する処理の手順を示すフローチャート図である。 音量調整画面の一例である。 表示装置に表示される車載装置の状態の一例である。 車載装置調整装置の機能ブロック図の一例である。 車載装置調整装置が顔向き角度によりサスペンションの減衰力を調整する処理の手順を示すフローチャート図である。 サスペンション調整画面の一例である。 顔向き操作中に視線が進行方向と所定以上異なった場合、ナビＥＣＵが警報を吹聴する制御手順のフローチャート図である。 車両の進行方向と視線方向との関係の一例を示す図である。 顔向き角度に応じて音量調整画面の表示位置を制御する手順を示すフローチャート図である。 視線方向に基づき表示された音量調整画面の一例である。

符号の説明

１ 車載装置調整装置
１１ マイクロフォン
１２ 音声認識装置
１３ カメラ
１４ 顔向きＥＣＵ
１５ ナビＥＣＵ
１６ 表示装置
１７ スピーカ
１８ サスペンション制御ＥＣＵ
１９ 視線検出ＥＣＵ

Claims (3)

1. 車載装置の状態を調整する車載装置調整装置において、
   当該車載装置調整装置を音声にて起動する起動手段と、
   運転者の顔向き角度を検出する顔向き検出手段と、
   運転者の視線方向を検出する視線方向検出手段と、
   自車両の進行方向を検出する進行方向検出手段と、
   前記視線方向検出手段により検出された運転者の視線方向と、前記進行方向検出手段により検出された進行方向とが所定以上異なる場合、運転者に警報する警報手段と、
   前記視線方向と、前記進行方向とが所定以上異ならない場合、前記顔向き検出手段により検出された顔向き角度に応じて、車載装置の状態を連続的に制御する車載装置制御手段と、
   を有することを特徴とする車載装置調整装置。
2. 前記車載装置制御手段により制御される車載装置の状態を乗員に報知する報知手段、
   を有することを特徴とする請求項１記載の車載装置調整装置。
3. 前記報知手段は、前記視線方向検出手段により検出された視線方向に車載装置の状態を表示する、
   ことを特徴とする請求項２記載の車載装置調整装置。

Images