JP6237504B2

JP6237504B2 - 視線入力装置

Info

Publication number: JP6237504B2
Application number: JP2014140628A
Authority: JP
Inventors: 佳行津田
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-07-08
Filing date: 2014-07-08
Publication date: 2017-11-29
Anticipated expiration: 2034-07-08
Also published as: DE112015003148T5; US20170153699A1; JP2016018377A; WO2016006170A1

Description

本発明は、視線入力パラメータの補正装置および視線入力装置に関するものである。

ユーザーに手間を取らせることなく、自動的に視線入力のパラメータを補正する技術として、ユーザーにより発生されたイベントの発生時点において表示されていたマーカの位置と、イベントの発生時点において視線センサが検出していた視線方向とに基づいて視線入力のパラメータを補正する方法が知られている（例えば特許文献１）。

特開２０００−１０７２３号公報

上記特許文献１に記載のパラメータの補正方法は、イベントの発生時点の視線方向をイベント発生時点のマーカ位置に対応する視線方向として採用してしまうため、例えば補正前の視線入力パラメータが大きくずれていた場合など、ユーザーがマーカを操作するために意図的に本来見るべき位置ではない位置を注視した状態でイベントを発生させると、誤ったパラメータの補正が行われて視線検出精度が更に悪化してしまうという問題がある。

本発明はこのような問題を解決するべくなされたものであり、その目的は視線入力パラメータの補正を自動的に精度よく行うことが可能な視線入力パラメータの補正装置または視線入力装置を提供することである。

上記目的を達成するため、請求項１に記載の発明は、表示装置に表示された画像群のうち、ユーザーがどの画像を見ているかを判定するための視線入力パラメータの補正装置であって、ユーザーの顔画像を取得する顔画像取得部と、取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部と、視線検出部の検出結果に基づいて表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、表示装置に表示されていた画像群の情報を記憶する記憶装置と、注視点マップ作成部によって得られた複数エリアと記憶装置に記憶されている画像群の情報とを比較し、複数エリアが画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部とを備え、補正部は、注視点マップ作成部が特定したエリアの数が所定の数未満であるときには、前記パラメータの補正を行わないことを特徴としている。

この請求項１に記載の発明によれば、表示装置の画面上で視線が留まった複数エリアと表示画面上の画像群とを対応付けてパラメータを補正するため、イベント発生時のユーザーの視線に基づいてパラメータを補正する特許文献１に記載された手法と比べて、視線入力パラメータの補正を精度よく行うことが可能となる。また、請求項１に記載の発明は、注視点マップ作成部が特定したエリアの数が所定の数未満であるときには、補正部はパラメータの補正を行わないことにより、パラメータ補正に適さない少数のエリアのみで補正を行うことを防止できる。

また、請求項２に記載の発明は、請求項１に記載の視線入力パラメータの補正装置において、上記注視点マップ作成部は、視線が留まった複数エリアのうち、視線の停留時間が所定の時間よりも短いエリアをノイズとして対象から除外することを特徴としている。これにより、ノイズが除かれた複数エリアを用いてより精度の高いパラメータ補正が可能となる。

更に、請求項３に記載の発明は、請求項１または２に記載の視線入力パラメータの補正装置において、上記注視点マップ作成部が、視線の移動速度を算出し、該移動速度が所定速度未満であった場合に視線が留まったと判定し、視線が留まったと判定したときの視線位置を複数記憶し、複数記憶された視線位置を複数のグループに分けて前記複数のエリアを特定することを特徴とする。これにより、検出された視線位置を適切なグループに分けて複数のエリアとして特定することが可能となる。

また、請求項４に記載の発明は、表示装置に画像群を表示させ、ユーザーがどの画像を見ているかを判定することで該ユーザーが前記画像群のいずれを選択しようとしているのか判定する視線入力装置であって、ユーザーの顔画像を取得する顔画像取得部と、取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部と、表示装置に画像群を表示させる表示制御部と、視線検出部の検出結果に基づいて表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、表示装置に表示されていた画像群の情報を記憶する記憶装置と、注視点マップ作成部によって得られた複数エリアと、記憶装置に記憶されていた画像群の位置関係とを比較し、複数エリアが画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部と、補正部によって補正されたパラメータに基づいて表示装置に表示された画像群のうち、ユーザーが現在どの画像を見ているかを判定する判定部と、を備え、表示制御部は、判定部によってユーザーがどの画像を見ているのか判定した後に、該ユーザーが見ている前記画像に対する決定入力操作がなされた場合には画像群を新しい画像群に置き換え、補正部は、前記注視点マップ作成部が特定したエリアの数が所定の数未満であるときには、前記パラメータの補正を行わないことを特徴としている。

この請求項４に記載の発明によれば、請求項１に記載の発明と同じく、表示装置の画面上で視線が留まった複数エリアと表示画面上の画像群とを対応付けてパラメータを補正するため、イベント発生時のユーザーの視線に基づいてパラメータを補正する特許文献１に記載された手法と比べて視線入力パラメータの補正を精度よく行うことが可能となる。また、請求項４に記載の発明は、注視点マップ作成部が特定したエリアの数が所定の数未満であるときには、補正部はパラメータの補正を行わないことにより、パラメータ補正に適さない少数のエリアのみで補正を行うことを防止できる。

また、請求項５に記載の発明は、請求項４に記載の発明において、表示制御部が、環状、Ｖ字状または扇状に並んだ画像群を前記表示装置に表示させることを特徴としている。これにより、画面上で視線が留まった複数エリアの数が少ない場合であっても、該複数エリアが画像群のどの画像にそれぞれ対応するのか対応付けることが容易となる。

また、請求項６に記載の発明は、請求項４または５に記載の発明において、表示制御部は、新しい画像群として、置き換え前の画像群の画像配置と同一の画像配置の新しい画像群を用いることを特徴としている。これにより、置き換え前の画像群に基づいて蓄積した複数エリアの位置情報を新しい画像群とも対比させることが可能となり、より精度の高いパラメータの補正を行うことが可能となる。

本発明の実施形態における視線入力装置および視線入力パラメータ補正装置の構成を示すブロック図である。補正部が行う補正の具体例を可視化した図である。視線入力パラメータの補正方法を示すフローチャートである。ユーザーの決定入力によって表示中の画像群が新しい画像群に置き換わったときの表示例を示す図である。Ｖ字状または扇状に並んだ画像群を用いて補正を行った例を示した図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、実形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。

図１は本実施形態における視線入力装置１００および視線入力パラメータ補正装置２２０の構成を示すブロック図である。本実施形態における視線入力装置１００は、図示しない車両に搭載されるものであり、ダッシュボードやステアリングコラムに搭載された撮像装置１１０で撮影した画像から車両の乗員（視線入力装置１００のユーザー）がセンターメーターやヘッドアップディスプレイなどの車載表示装置１２０に表示された画像群のうち、どの画像を見ているかを判定し、ステアリングスイッチなどの決定入力装置１３０によって決定入力がなされた場合に、該ユーザーが見ていた画像に対応するアプリケーションプログラム１４０を実行させるものである。

以下、視線入力装置１００の各構成要素について説明する。本実施形態における視線入力装置１００は、撮像装置１１０からユーザーの顔の画像を取得する画像取得部１５０と、顔画像に基づいてユーザーの視線位置を繰り返し検出する視線検出部１６０と、視線検出部１６０の検出結果に基づいてある特定期間（例えば２〜３秒間）において表示装置１２０の画面上で視線が留まったエリアを複数特定する注視点マップ作成部１７０と、該特定期間において表示装置１２０に表示されていた画像群の情報を記憶する記憶装置１８０と、視線検出部１６０で検出した視線位置と記憶装置１８０に記憶された視線入力パラメータとに基づいて表示装置１２０に表示されている画像群のうち、ユーザーが現在どの画像を見ているかを判定する判定部１９０と、記憶装置に記憶された画像群の情報と注視点マップとに基づいて上記視線入力パラメータを補正する補正部２００と、ユーザーが現在どの画像を見ているか及び／または決定入力操作に基づいて表示装置１２０の表示態様を変更する表示制御部２１０とを備えている。

ここで表示装置２１０は、現在実行中のアプリケーションプログラムの実行状態に応じた画像群を表示装置１２０に表示させるものであり、判定部１９０によってユーザーがどの画像を見ているのか判定した後に、該ユーザーが見ている画像に対する決定入力操作がなされた場合に、実行中のアプリケーションプログラムの状態を遷移させて表示中の画像群を新しい画像群に置き換えるものである。

また、視線検出部１６０で繰り返し検出された視線位置にはそれぞれ（Ｘ，Ｙ）座標が与えられ、注視点マップ作成部１６０は該（Ｘ，Ｙ）座標を用いて表示装置１２０の画面上で視線が留まったエリアを複数特定し、注視点マップとして記憶装置に記憶させる。

また、視線入力装置１００の各構成要素のうち、画像取得部１５０、視線検出部１６０、注視点マップ作成部１７０、記憶部１８０および補正部２００が本実施形態における視線入力パラメータの補正装置２２０を構成している。

図２は補正部２２０が行う制御の具体例を可視化した図である。図２の左上の四角形の枠内は、注視点マップの元となった視線データが得られた特定期間において表示装置１２０に表示されていた画像群（ボタン画像Ａないしボタン画像Ｆ）の配置例を示している。図２の右上の座標系は当該特定期間において得られた視線データを元に注視点マップ作成部１７０によって作成される注視点マップの例を示している。補正部２２０は、これらの画像群の配置情報と注視点マップを記憶部１８０からロードして画像群の位置関係と注視点マップ中の各エリアの位置関係を比較し、複数のエリアが画像群のうちのいずれの画像に対応するのか推測する。そして補正部は推測した対応関係に基づいて上記視線入力パラメータを補正し、補正後の視線入力パラメータを記憶装置１８０に記憶する。

これにより、ユーザーが表示画面に表示される複数の画像群を俯瞰することを利用して注視点マップが更新され、注視点マップと実際に表示されていた画像群の配置情報とに基づいて視線入力パラメータが補正されて新しいものに更新されるため、ユーザーに手間をかけずに視線入力パラメータの補正を精度よく行うことが可能となる。

図３は図２において説明した視線入力パラメータの補正方法をより具体的に説明するためのフローチャートである。

まず、ステップＳ１では、画像取得部１５０にて撮像装置１１０から取得した画像に基づいて、視線検出部１６０で視線位置を計測し、（Ｘ，Ｙ）座標を付与する。

次に、ステップＳ２では、ステップＳ１で計測した視線位置の（Ｘ，Ｙ）座標と、実行中のアプリケーションプログラムが表示制御装置２１０を介して表示装置１２０に表示させている画像群を視線入力パラメータの補正に用いる画像群として時刻データと共に記憶装置１８０に記憶する。

そして、ステップＳ３において今すぐ視線入力パラメータの補正（キャリブレーション）を行うべきか否かを判定し、行う必要が無いと判定された場合はステップＳ１に戻る。視線入力パラメータの補正要否の判定は、様々な方法によって判定できるが、例えば、特定期間（例えば、２〜３秒間）視線位置が所定の範囲（例えば、表示画面領域の１．５倍）に収まっているかどうかによって判定するようにすると良い。

ステップＳ３において今すぐ視線入力パラメータの補正が必要だと判定された場合、ステップＳ４において、特定期間（例えば、２〜３秒間）遡って記憶装置１８０に蓄積された各時刻ｔにおける視線位置の（Ｘ，Ｙ）座標から各時刻ｔにおける視線の移動速度（瞬間的な移動量：ｄｘｔ，ｄｙｔ）を算出し、ステップＳ５へと進む。

ステップＳ５では、ステップＳ４で算出した上記特定期間中の各時刻ｔそれぞれにおける視線の移動速度が、一定時間所定の閾値速度（Ｔｇ：例えば１００ｄｅｇ／秒）未満であるか否かを判定し、いずれの時刻においても移動速度が所定時間（例えば０．２〜０．３秒間）所定の閾値速度（Ｔｇ）以下とならなかった場合、即ちステップＳ５が否定判定であった場合はステップＳ１に戻り、少なくともいずれかの時刻において移動速度が上記所定時間、所定の閾値速度（Ｔｇ）以上となっていた場合、即ちステップＳ５が肯定判定であった場合はステップＳ６に進む。これにより、ある期間視線が留まったエリアあったとしても、視線の停留時間が非常に短いものはノイズとして対象から除外することができる。これにより、ノイズが除かれたデータ用いたより精度の高いパラメータ補正が可能となる。

ステップＳ６では、視線の移動速度が一定時間所定速度未満となった時刻の視線位置データの集合から、視線が表示装置１２０の画面上のある位置で留まった位置を判定する。具体的には、一定時間所定速度未満となった時刻の視線位置データの平均位置座標（ａｖｅｔ（ｘｔ，ｙｔ））を算出する。

そして、ステップＳ７では、ステップＳ６で算出した平均位置座標（ａｖｅｔ（ｘｔ，ｙｔ））を、記憶装置１８０内に設けられた注視点マップ（Ｇ（Ｘ，Ｙ））に新しい注視点（Ｘ，Ｙ）として加え、ステップＳ８へと進む。

ステップＳ８では、注視点マップ（Ｇ（Ｘ，Ｙ））に蓄えられた複数の注視点（Ｘ，Ｙ）のうち、所定数以上の注視点が集まった注視点グループ（Ｇ（Ｘ，Ｙ）極大：以下クラスタと称する）を複数抽出し、ステップＳ９へと進む。このステップＳ８において選ばれた複数のクラスタは、図２における注視点マップ上の各エリア１〜５に相当する。このように検出された視線位置を適切なグループ（クラスタ）に分けて複数のエリアとして特定することで、表示装置に表示していた画像群とのマッチングを取ることが可能となる。

ステップＳ９では、ステップＳ８で抽出したクラスタ数（Ｎｍ（Ｐ））が、所定数（Ｔｎ）よりも大きいか否かを判定する。抽出したクラスタ数（Ｎｍ（Ｐ））が所定数（Ｔｎ）以下であったと判定すると、視線入力パラメータの補正を行うのに充分な数のデータがまだ得られていないとして、ステップＳ１に戻る。つまり、パラメータ補正に適さない少数のエリアのみで補正を行うことを防止できる。また、抽出したクラスタ数（Ｎｍ（Ｐ））が所定数（Ｔｎ）よりも大きいと判定すると、ステップＳ１０へと進む。尚、上記所定数（Ｔｎ）は表示されていた画像群の数および配置に依存してその最小数が予め決定されている。

ステップＳ１０では、抽出したクラスタの位置座標と、上記特定期間中において実行中のアプリケーションプログラムが表示制御装置２１０を介して表示装置１２０に表示させていた画像群の位置座標とをマッチングさせ、所定のアルゴリズムに基づいて視線入力パラメータの補正値候補（Ｆ）を算出する。

以下、一例として視線入力パラメータが視線位置座標を引数とする線形関数Ｆ（Ｘ，Ｙ）で表されている場合を説明する。ここで、Ｘｂｅｆ，Ｙｂｅｆを視線検出部１６０がオリジナルで算出した視線位置座標、Ｘａｆｔ、Ｙａｆｔを視線入力パラメータが反映された視線位置座標、ａｘ、ａｙ、ｂｘ、ｂｙを本発明による補正対象となる定数とすると、Ｆ（Ｘ，Ｙ）は、（Ｘａｆｔ＝ａｘ＊Ｘｂｅｆ＋ｂｙ、Ｙａｆｔ＝ａｙ＊Ｘｂｅｆ＋ｂｙ）となる。

上記ステップＳ１０における所定のアルゴリズムは、例えば上記線形関数Ｆ（Ｘ，Ｙ）の変数ａｘ、ａｙ、ｂｘ、ｂｙを変化させ、各クラスタｉにおいて最も座標が近い画像との距離を算出し、それら距離の合計が最小となる変数ａｘ、ａｙ、ｂｘ、ｂｙを求めるアルゴリズムを採用することができる。

ステップＳ１１では、ステップＳ１０で算出した視線入力パラメータの補正値候補が正しいか否かを検証し、正しいと判定した場合はステップＳ１２へと進み、正しくないと判定した場合はステップＳ１へと戻る。尚、線入力パラメータの補正値候補が正しいか否かの検証は、様々な方法によって判定できるが、例えば、（Ｘａｆｔ，Ｙａｆｔ）と画像との距離、即ち残存誤差の合計が閾値未満かどうかを判定することによって検証するようにすると良い。

ステップＳ１３では、補正部２００によって記憶装置１８０内の視線入力パラメータ（Ｃ）をステップＳ１０で算出した視線入力パラメータの補正値候補（Ｆ）で置き換える補正を行う。

以上の説明した実施形態によれば、表示装置１２０の画面上で視線が留まった複数エリアと表示画面上の画像群とを対応付けてパラメータを補正することができるため、何らかの決定入力がなされた時点のユーザーの視線に基づいてパラメータを補正する手法と比べて、視線入力パラメータの補正を精度よく行うことが可能となる。

また、図４は、表示制御部２１０がユーザーの決定入力部１３０への入力によって実行中のアプリケーションプログラムの状態を遷移させ、表示中の画像群を新しい画像群に置き換えたときの例を示している。図４に示された画像群の置き換えは、新しい画像群として、置き換え前の画像群の画像配置と同一の画像配置の新しい画像群を用いることを特徴としている。これにより、置き換え前の画像群に基づいて蓄積した複数エリアの位置情報を新しい画像群とも対比させることが可能となり、より精度の高いパラメータの補正を行うことが可能となる。

また、図４に示した画像群は環状に並んで配置されており、図５に示した画像群はＶ字状または扇状に並んでいる。このように画像群を配置することで、画面上で視線が留まった複数エリアの数が少ない場合であっても、該複数エリアが画像群のどの画像にそれぞれ対応するのか対応付けることが容易となる。即ち、画像群を縦横のマトリックス状に当配列した場合に比べて上述した所定数（Ｔｎ）が満たすべき最小値を小さくすることができる。

１００・・・視線入力装置、１１０・・・撮影装置、１２０・・・表示装置、１３０・・・決定入力装置、１４０・・・アプリケーションプログラム、１５０・・・顔画像取得部、１６０・・・視線検出部、１７０・・・注視マップ作成部、１８０・・・記憶装置、１９０・・・判定部、２００・・・補正部、２１０・・・表示制御部、２２０・・・視線入力パラメータ補正装置。

Claims

表示装置に表示された画像群のうち、ユーザーがどの画像を見ているかを判定するための視線入力パラメータの補正装置であって、
ユーザーの顔画像を取得する顔画像取得部と、
取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部と、
前記視線検出部の検出結果に基づいて前記表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、
前記表示装置に表示されていた画像群の情報を記憶する記憶装置と、
前記注視点マップ作成部によって得られた複数エリアと、前記記憶装置に記憶されていた前記画像群の情報とを比較し、前記複数エリアが前記画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部と
を備え、
前記補正部は、前記注視点マップ作成部が特定したエリアの数が所定の数未満であるときには、前記パラメータの補正を行わないことを特徴とする視線入力パラメータの補正装置。
前記注視点マップ作成部は、視線が留まった複数エリアのうち、視線の停留時間が所定の時間よりも短いエリアをノイズとして対象から除外することを特徴とする請求項１に記載の視線入力パラメータの補正装置。
前記注視点マップ作成部は、
視線の移動速度を算出し、
前記移動速度が所定速度未満であった場合に視線が留まったと判定し、
前記視線が留まったと判定したときの視線位置を複数記憶し、
前記複数記憶された視線位置を複数のグループに分けて前記複数のエリアを特定することを特徴とする請求項１または２に記載の視線入力パラメータの補正装置。
表示装置に画像群を表示させ、ユーザーがどの画像を見ているかを判定することで該ユーザーが前記画像群のいずれを選択しようとしているのか判定する視線入力装置であって、
ユーザーの顔画像を取得する顔画像取得部と、
取得された顔画像に基づいてユーザーの視線位置を検出する視線検出部と、
前記表示装置に画像群を表示させる表示制御部と、
前記視線検出部の検出結果に基づいて前記表示装置の画面上で視線が留まった複数エリアを特定する注視点マップ作成部と、
前記表示装置に表示されていた画像群の情報を記憶する記憶装置と、
前記注視点マップ作成部によって得られた複数エリアと、前記記憶装置に記憶されていた前記画像群の位置関係とを比較し、前記複数エリアが前記画像群のいずれに対応するのか推測し、該推測結果に基づいて視線検出部のパラメータを補正する補正部と、
前記補正部によって補正されたパラメータに基づいて前記表示装置に表示された画像群のうち、ユーザーが現在どの画像を見ているかを判定する判定部と、を備え、
前記表示制御部は、前記判定部によってユーザーがどの画像を見ているのか判定した後に、該ユーザーが見ている前記画像に対する決定入力操作がなされた場合には前記画像群を新しい画像群に置き換え、
前記補正部は、前記注視点マップ作成部が特定したエリアの数が所定の数未満であるときには、前記パラメータの補正を行わないことを特徴とする視線入力装置。
前記表示制御部は、環状、Ｖ字状または扇状に並んだ画像群を前記表示装置に表示させることを特徴とする請求項４に記載の視線入力装置。
前記表示制御部は、前記新しい画像群として、置き換え前の画像群の画像配置と同一の画像配置の新しい画像群を用いることを特徴とする請求項４または５に記載の視線入力装置。