WO2014181543A1 - 視線入力装置 - Google Patents

Abstract

　視線入力装置は、入力させる入力要素を視線により選択するものであり、ヘッドアップディスプレイ装置（１０）と視線検出装置（２０）を備える。ヘッドアップディスプレイ装置は、車両のウィンドシールド（Ｗ）前方且つ運転席の正面に設定された仮想の表示領域（Ｄ）に、入力要素の画像を表示する。視線検出装置は、運転席の正面に設置され、運転席に座ったドライバの注視点を検出する。ヘッドアップディスプレイ装置は、表示領域において複数の入力要素の画像を列にして表示するとともに、表示領域の端部に表示される入力要素の画像のうち外寄りの部分を非表示とする。

Description

視線入力装置 関連出願の相互参照

　本開示は、２０１３年５月９日に出願された日本出願番号２０１３－９９６６２号に基づくもので、ここにその記載内容を援用する。

　本開示は、視線により入力要素を選択する視線入力装置に関する。

　車載機器、携帯端末等の機器と人とのインターフェースとして、視線入力装置が提案されている。例えば特許文献１は、車両のインストルメントパネルの中央に設置されたナビゲーション装置の下側に視線検知装置を設置し、ナビゲーション装置の表示画面を見るユーザの注視位置を視線検知装置により検知して、ナビゲーション装置に対して視線入力を行っている。

特開平９－１６７０４９号公報

　特許文献１のように、インストルメントパネルの中央に視線検知装置及び表示画面を配置すると、ドライバの顔の横から視線を検知することになる。ドライバの顔の横から視線を検知する場合、ドライバの顔の正面から視線を検知する場合よりも検知精度が低下するおそれがある。しかしながら、限られた車室内において、ドライバの正面に視線検知装置及び表示画面を配置することは困難である。

　本開示は、上記実情に鑑み、視線検知装置及び表示画面を適切に配置することにより、高精度に注視点を検知することが可能な視線入力装置を提供することを主たる目的とする。

　本開示のある態様にかかる視線入力装置は、入力させる入力要素を視線により選択する視線入力装置であって、車両のフロントウィンド前方且つ運転席の正面に設定された表示領域に、前記入力要素の画像を表示するヘッドアップディスプレイ装置と、前記運転席の正面に設置され、前記運転席に座ったドライバの注視点を検出する視線検出装置と、を備える。ヘッドアップディスプレイ装置は、前記表示領域において複数の前記入力要素の画像を列にして表示するとともに、前記表示領域の端部に表示される前記入力要素の画像のうち外寄りの部分を非表示とする。

　この態様によれば、ヘッドアップディスプレイ装置により、車両の運転席の正面に設定された表示領域に入力要素の画像が表示される。そして、運転席の正面に設置された視線検出装置により、表示領域に表示された画像を見るドライバの注視点が検出される。

　ヘッドアップディスプレイ装置を用いることにより、車両内の限られた空間において、ドライバの正面に、視線検出装置及び表示領域を設置することができる。また、ヘッドアップディスプレイ装置により表示された画像は、左右の視野角が狭いため、ドライバは正面から表示領域を見ることになり、ドライバの頭が正面にほぼ固定される。そのため、常に正面からドライバの注視点を検出することができる。したがって、ヘッドアップディスプレイ装置と視線検出装置とを組み合わせることにより、視線検出装置及び表示領域を適切に配置して、ドライバの注視点を高精度に検出することができる。

　また、ヘッドアップディスプレイ装置は、入力要素の画像を列にして表示領域に表示し、列の端部に表示する入力要素の画像のうち外寄りの部分を非表示とする。したがって、表示領域の外に入力要素の画像が続いているように見せることができる。すなわち、表示領域に表示されていない入力要素の画像が存在することを、ドライバに認識させることができる。

　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
視線入力装置の構成を示すブロック図。 視線検出装置及びＨＵＤ装置の設置場所を示す図。 視線検出装置及びＨＵＤ装置の設置場所を示す図。 ドライバが視線入力をする様子を示す図。 表示領域に表示される入力要素を示す図。 入力要素を確定する様子を示す図。 入力要素を確定する様子を示す図。

　以下、視線入力装置を車両に搭載した実施形態について説明する。本実施形態に係る視線入力装置は、図１に示すように、ＨＵＤ装置１０（ヘッドアップディスプレイ装置）、視線検出装置２０、ジェスチャ検出装置３０、入出力装置４０を備える。本視線入力装置は、ＨＵＤ装置１０の表示領域に表示された入力要素が視線により選択されるとともに、ジェスチャを検出したことを条件として選択された入力要素の入力を確定する。

　ＨＵＤ装置１０は、図２Ａ、図２Ｂに示すように、ウィンドシールドＷの下のダッシュボードＢの奥に埋め込まれている。ＨＵＤ装置１０は、ウィンドシールドＷの前方且つ運転席の正面に設定された仮想の表示領域Ｄに、入力要素の画像を含む入出力装置４０から出力された映像を表示する表示装置である。ＨＵＤ装置１０は、ダッシュボードＢの奥から液晶パネルに表示した映像をミラーに反射させ、更にそれを凹面鏡に反射させて拡大させ、拡大させた映像をウィンドシールドＷに反射させる。これにより、ドライバは、ウィンドシールドＷの前方に設定された仮想の表示領域Ｄに浮き上がるように表示された映像を見ることができる。なお、表示領域Ｄに表示する入力要素の画像については、後で詳述する。

　表示領域Ｄに表示された映像は左右の視野角が狭いため、ドライバは、表示領域Ｄに表示された映像をどこからでも見えるわけではなく、表示領域Ｄの正面のＨＵＤ視認エリア内に目の位置がある場合にしか見ることができない。ＨＵＤ視認エリアは、円形のエリアであり、円形エリアの中心は、表示領域Ｄの中心の正面になる。ドライバが運転席に座って正面にある表示領域Ｄに表示された映像を見ようとする場合、ドライバの両目は表示領域Ｄに正対するＨＵＤ視認エリア内に固定される。ドライバ以外の搭乗者の両目はＨＵＤ視認エリア内に入らないため、ドライバ以外の搭乗者は表示領域Ｄに表示された映像を見ることができない。それゆえ、ドライバは、表示領域Ｄをプライベートディスプレイとして利用できる。

　なお、図２Ａでは、円形のＨＵＤ視認エリアをわかりやすいように示しているが、実際には、円形のＨＵＤ視認エリアは、表示領域Ｄに正対している。

　視線検出装置２０は、運転席の正面に設置され、運転席に座ったドライバの注視点を検出する装置である。詳しくは、視線検出装置２０は、表示領域Ｄよりも下側の所定範囲に設置され、目に見えない近赤外光が照射されたドライバの目を撮影するカメラである。ドライバの注視点を検出するためには、視線検出装置２０は、ドライバの注視点の左右上下３０°以内に設置されている必要がある。本実施形態では、表示領域Ｄ上のドライバの注視点を検出するために、視線検出装置２０は、表示領域Ｄから下側に１０°の位置のダッシュボードＢに設置されている。このように、設置された視線検出装置２０の視線検出エリアは、ＨＵＤ視認エリアを内部に含む、ＨＵＤ視認エリアと同心の円形エリアである。それゆえ、ＨＵＤ視認エリア内にドライバの両目が入っていると、視線検出装置２０によりドライバの注視点を検出することができる。

　ジェスチャ検出装置３０は、視線検出装置２０よりも下側、インストルメントパネルＩに設置され（図３参照）、運転席に座ったドライバのジェスチャを検出するカメラである。ジェスチャ検出装置３０は、例えば、手を振る動きや、手を開いて閉じる動きを検出する。

　入出力装置４０は、映像信号出力装置４１、入出力演算装置４２、視線変換装置４３、入力変換装置４４を備える。映像信号出力装置４１は、表示領域Ｄに表示させる映像信号を、入出力演算装置４２へ出力する装置である。視線変換装置４３は、視線検出装置２０により撮影されたドライバの目の画像から、視線方向によって位置が変わる瞳孔、及び視線方向には影響を受けない角膜反射を検出し、瞳孔と角膜反射との位置関係から注視点を検出する。そして、視線変換装置４３は、検出した注視点の座標を入出力演算装置４２へ出力する。入力変換装置４４は、ジェスチャ検出装置３０によりドライバのジェスチャが検出されたことを条件として、入力確定信号を入出力演算装置４２へ出力する。

　入出力演算装置４２は、映像信号出力装置４１から送信された映像信号をＨＵＤ装置１０へ出力する。また、映像信号出力装置４１から送信された映像信号と、視線変換装置４３から送信された注視点の座標とから、ドライバが選択している入力要素を判定する。さらに、入力変換装置４４から入力確定信号を受信すると、ドライバが選択している入力要素の入力を確定し、入力要素に対応する機器に対して指令を出力する。

　次に、図３を参照して、ドライバが視線入力する態様について説明する。本実施形態では、走行安全のため、車両の停車時に限って、入力要素の入力を可能としている。ドライバが表示領域Ｄに表示された入力要素を注視すると、視線検出装置２０により、ドライバの注視点が検出され、入出力演算装置４２によりドライバが注視している入力要素がどれか判定される。そして、入力要素を選択した状態で、ドライバが手を振るジェスチャを行うと、入出力演算装置４２は、ドライバが注視している入力要素の入力を確定する。

　次に、図４Ａ～図４Ｃを参照して、ＨＵＤ装置１０が表示領域Ｄに表示させる入力要素について説明する。図４Ａ、図４Ｂにおいて、目の記号は、ドライバの注視点をイメージしており、実際には表示領域Ｄには表示されない。図４Ａに示すように、ＨＵＤ装置１０は、表示領域Ｄにおいて、複数の入力要素の画像を列にして表示する。本実施形態では、表示する入力要素の画像の数は３つである。さらに、ＨＵＤ装置１０は、表示領域Ｄの左右両端部に表示される入力要素の画像のうち外寄りの部分を非表示とする。すなわち、左端部に表示される入力要素の画像の左側の部分と、右端部に表示される入力要素の右側の部分とを非表示にする。このようにすることにより、入力要素の画像は、表示領域Ｄに表示されている３つだけではなく、表示領域Ｄの左右両側に続いていることが示される。また、ＨＵＤ装置１０は、表示領域Ｄの中央下側には、車両の変速機の変速位置を表示する。ドライバは、表示領域Ｄに表示された変速位置がパーキングである場合に、視線入力が可能であるとわかる。

　図４Ａでは、ドライバは左端の入力要素の画像を注視して、選択している。ここでは、ドライバの注視点が列の中央の入力要素の画像とは異なる画像上にあるので、この状態でドライバがジェスチャをしても、注視点がある画像の入力は確定しない。ドライバの注視点が列の中央の入力要素の画像とは異なる画像上にある場合は、ＨＵＤ装置１０は、図４Ｂに示すように、ドライバの注視点がある画像を、列の中央に移動させて表示領域Ｄに表示する。すなわち、ＨＵＤ装置１０は、図４Ａの状態から、入力要素の画像を一つずつ右にずらして表示領域Ｄに表示する。これにより、図４Ａで右端に表示されていた入力要素の画像が図４Ｂでは表示されなくなり、図４Ａでは表示されていなかった入力要素の画像が図４Ｂでは左端に表示される。この状態で、中央の入力要素の画像を見つめながら、図４Ｃに示すように手を振るジェスチャを行うと、ドライバの注視点がある入力要素の入力が確定される。

　以上説明した本実施形態によれば、以下の効果を奏する。

　ＨＵＤ装置１０により、車両の運転席の正面に設定された仮想の表示領域Ｄに入力要素の画像が表示され、運転席の正面に設置された視線検出装置２０により、表示領域Ｄに表示された画像を見るドライバの注視点が検出される。ＨＵＤ装置１０を用いることにより、車両内の限られた空間において、ドライバの正面に、視線検出装置２０及び表示領域Ｄを設置することができる。また、ＨＵＤ装置１０により表示された画像は、左右の視野角が狭いため、ドライバは正面から表示領域Ｄを見ることになり、ドライバの頭が正面にほぼ固定される。そのため、常に正面からドライバの注視点を検出することができる。したがって、ＨＵＤ装置１０と視線検出装置２０とを組み合わせることにより、視線検出装置２０及び表示領域Ｄを適切に配置して、ドライバの注視点を高精度に検出することができる。

　ＨＵＤ装置１０により表示された画像は、左右の視野角が狭いため、ドライバ以外の同乗者から見ることができない。そのため、ドライバは、同乗者から余計な口出しをされることなく、入力操作を行うことができるとともに、同乗者の目を気にすることなく、表示領域Ｄに個人情報を表示させて見ることができる。

　視線検出装置２０を表示領域Ｄよりも下側の所定範囲に設置することにより、表示領域Ｄを見るドライバの注視点が視線検出装置２０の検知範囲に入る。したがって、表示領域Ｄを見るドライバの注視点を確実に検出することができる。

　入力要素の画像を列にして表示領域Ｄに表示し、列の端部に表示する入力要素の画像のうち外寄りの部分を非表示とすることにより、表示領域Ｄの外に入力要素の画像が続いているように見せることができる。すなわち、表示領域Ｄに表示されていない入力要素の画像が存在することを、ドライバに認識させることができる。

　視線により入力要素を選択した状態でジェスチャをすることにより、選択した入力要素の入力を確定することができる。このため、仮想の表示領域Ｄに入力要素の画像が表示されるとともに、ドライバがタッチパネルやボタン等に触れることなく、入力要素の入力を確定することができる。

　視線により選択した入力要素の画像が中央にない場合は、選択した入力要素の画像が中央に移動される。ドライバは、入力要素の画像が移動された後、入力要素の画像を注視したままジェスチャをすれば、入力要素の入力を確定することができる。

　視線入力を車両の停車時に限ることにより、走行中の誤入力による誤作動が抑制され、安全走行を損なうおそれがない。

　表示領域Ｄに車両の変速位置を表示することにより、ドライバは視線入力が可能か否かを認識できる。

　（変形例）
　本開示は上記実施形態の記載内容に限定されず、例えば、以下のように変更して実施してもよい。

　ドライバの注視点がある入力要素の画像を強調表示するようにしてもよい。このようにすれば、ドライバはどの入力要素を選択しているか確実に認識できる。

　表示領域Ｄにパーキングブレーキのオンオフ状態を表示してもよい。このようにしても、ドライバは視線入力が可能な状態を認識できる。

　表示領域Ｄにおいて、入力要素の画像を縦に列にして表示してもよい。この場合、上下両端部に表示される入力要素の画像のうち外寄りの部分を非表示とする。

　表示領域Ｄに表示される入力要素の画像は３つよりも多くてもよい。また、表示領域Ｄに表示される入力要素の画像の数は、偶数でもよい。この場合、表示領域Ｄの中央右寄り又は中央左寄の画像上にドライバの注視点がある状態で、ドライバがジェスチャをしたときに、入力要素の入力を確定する。

　所定の条件下において、停車時以外でも視線入力を可能にしてもよい。

　入力要素の入力を確定する場合は、ジェスチャ以外の方法で確定してもよい。例えば、瞬きや、音声で入力要素を確定してもよい。あるいは、所定時間よりも長く入力要素の画像を凝視することで、入力要素の入力を確定してもよい。あるいは、ハンドルにスイッチを設け、視線で入力要素を選択し、スイッチを押して入力要素の入力を確定するようにしてもよい。また、手を振る以外のジェスチャを行うことで、入力要素の入力を確定してもよい。

Claims (7)

1. 　入力させる入力要素を視線により選択する視線入力装置であって、
   　車両のウィンドシールド（Ｗ）前方且つ運転席の正面に設定された仮想の表示領域（Ｄ）に、前記入力要素の画像を表示するヘッドアップディスプレイ装置（１０）と、
   　前記運転席の正面に設置され、前記運転席に座ったドライバの注視点を検出する視線検出装置（２０）と、を備え、
   　前記ヘッドアップディスプレイ装置は、前記表示領域において複数の前記入力要素の画像を列にして表示するとともに、前記表示領域の端部に表示される前記入力要素の画像のうち外寄りの部分を非表示とする視線入力装置。
2. 　前記視線検出装置は、前記表示領域よりも下側の所定範囲に設置されている請求項１に記載の視線入力装置。
3. 　ドライバのジェスチャを検出するジェスチャ検出装置を備え、
   　前記列の中央の前記画像上に前記視線検出装置により検出された前記注視点がある状態で、前記ジェスチャ検出装置により前記ドライバのジェスチャが検出されたことを条件として、前記中央の入力要素の入力を確定する請求項１又は２に記載の視線入力装置。
4. 　前記ヘッドアップディスプレイ装置は、前記視線検出装置により検出された前記注視点が前記列の中央の前記画像とは異なる画像上にある場合、前記注視点がある画像を、前記列の中央に移動させる請求項１～３のいずれかに記載の視線入力装置。
5. 　前記車両の停車時に限って、前記入力要素の入力を可能とする請求項１～４のいずれかに記載の視線入力装置。
6. 　前記ヘッドアップディスプレイ装置は、前記表示領域に、前記車両の変速位置を表示する請求項１～５のいずれかに記載の視線入力装置。
7. 　前記ヘッドアップディスプレイ装置は、前記表示領域に、パーキングブレーキのオンオフ状態を表示する請求項１～６のいずれかに記載の視線入力装置。

Images