JP6214752B2 - 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法 - Google Patents

Description

この発明は、視線方向検出装置による視線方向検出情報のキャリブレーションを制御する表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法に関する。

近年、視線方向検出装置により検出された対象者、例えば運転者の視線方向を用いて様々な処理を行うシステムが提案されている。例えば、脇見運転および居眠り運転の検出を行う検出装置、インテリジェントパネルなどを視線で操作するヒューマンマシンインタフェース（ＨＭＩ）など、視線方向検出装置を用いたシステムが数多く提案されている。
また、視線方向検出装置における視線方向の検出には様々な手法が提案されており、検出対象者の目に赤外線発光ダイオード（赤外線ＬＥＤ）の光を照射し、その角膜表面における反射像と瞳孔の位置関係から視線の向きを検出する角膜反射法などが有名である。

視線方向検出装置による視線方向検出では、一般に対象者の個人差に起因した検出誤差を伴うため、対象者ごとの検出誤差を補正する、いわゆるキャリブレーションを実施して検出精度を確保する必要がある。また同一対象者であっても、前回のキャリブレーションからの時間経過で環境が変化した場合、再び検出誤差が発生する可能性がある。従って、キャリブレーションは定期的に実施することが望ましい。

視線方向検出装置のキャリブレーションは、基本的に２点以上の基準点の測定が必要であり、測定した基準点が多いほど視線方向検出情報のばらつきが平坦化されて、キャリブレーションの精度も向上する。例えば、一般的に四角形の表示部を有する装置においては、特に、角部近傍の４点と対角線の交点である表示部の中央点で視線方向検出情報のキャリブレーションを速やかにとることが望ましいとされている。
しかしながら、多数の基準点、例えば上述の例では５点を測定するためには、対象者に予め定めた５点の基準点にそれぞれに視線を向けさせるなど、対象者にとって煩わしい操作を強いることとなり負担となる。そのため、対象者が意図せずとも自動でキャリブレーションを実施する装置が求められており、以下の文献で提案されている。

例えば、特許文献１，２には、基準点となる注視対象物に車両装備品を用いることで、運転者が意図せずとも自動でキャリブレーションを実施する装置が提案されている。
なお、注視対象物としての車両装備品としては、ルームミラー、サイドミラー、ナビゲーションシステム、エアコン、ヘッドアップディスプレイなどが挙げられている。

特許文献１は、運転者の視線方向を検出し、その結果に基づいて運転者が注視している車両装備品を推定する。そして、運転者から見た当該車両装備品の方向を視線方向の基準として予め定めておき、この基準となる視線方向と視線方向検出装置で検出した視線方向との誤差に基づいて、キャリブレーションを実施している。また、特許文献２では、運転者が各機器の操作を行っているときの視線とこの操作が行われている機器の位置を対応させることで視線方向検出装置のキャリブレーションを実施している。なお、この特許文献２には、運転者の注視点の分布状態に基づいて、分布状態の中心に注視対象物が存在すると推定する場合も開示されている。

特開２０１０−３０３６１号公報 特開平９−２３８９０５号公報

特許文献１，２は、運転者に意識させずにキャリブレーションを完了することを目的として運転者から視認可能な車両装備品を注視対象物としている。
しかしながら、車両装備品は運転者にいつ見られるか分からないため、２点以上の基準点が測定されるまでに長時間を要する可能性がある。
このため、特許文献１，２に開示される従来の技術では、適正なキャリブレーションを速やかに行うことができず、視線方向検出情報に検出誤差がある状態が長時間継続する可能性があり、この間、上述の視線方向検出装置を用いたシステムを精度良く操作できる保証がない。

また、特許文献１，２は、車両装備品を注視対象物としているので、一般にキャリブレーションの注視対象物とされているものに比してそのサイズが大きい。このため運転者が例えば予め定めた基準点に集中して注視を行う可能性は低く、視線方向検出装置の視線方向検出情報のばらつきが大きくなるという問題点を有する。ゆえに同じ車両装備品を見たとしても、その視線方向のばらつきも大きいことから、キャリブレーション精度を向上させることが困難である。

さらに特許文献２のようにルームミラーおよびサイドミラーが注視対象物である場合、必ずしもルームミラーまたはサイドミラーの中心部に障害物が映るとは限らない。このため例えばルームミラーの中心部に基準点となる視線方向を設定していたとしても、運転者がルームミラーの中心部を見るとは限らないため、ずれが生じる。
よって運転者がミラー越しに障害物を見ているときに収集された注視点の分布状態を用いて視線方向を検出する場合であっても、検出結果に偏りがある可能性は高い。
さらに、運転者が注視した注視点の分布状態に基づいてキャリブレーションを行おうとするならば、運転者がルームミラーやサイドミラーを何度も注視する必要があり時間がかかる。

さらに車載器の操作スイッチを注視対象物とした場合、運転者が操作スイッチの中心点を見て操作を行うとは限らない。この場合、操作スイッチを小さくすれば、視線方向検出情報のばらつきが小さくなることが予想される。しかしながら、操作スイッチを小さくするとその視認性あるいはこの操作スイッチを利用する機器の操作性が下がることが懸念される。

この発明は、上記のような課題を解決するためになされたもので、対象者の視線方向の検出についてのキャリブレーションを精度よくかつ的確に行うことができるキャリブレーション制御装置、キャリブレーション制御方法、およびこれを用いた視線方向検出システムを得ることを目的とする。
この発明は、上記のような課題を解決するためになされたもので、対象者の視線方向検出情報のキャリブレーションを精度よくかつ速やかに行うことができる表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法を得ることを目的とする。

この発明に係る表示制御装置は、表示部が表示する表示物を注視対象物とし、この注視対象物に基づいて視線方向検出装置のキャリブレーションを制御する表示制御装置であって、視線方向検出装置が検出した視線方向検出情報と表示物の表示情報とに基づいて車両の乗員がその視線方向に存在する注視対象物を注視しているか否かを判定する視線状態判定部と、注視対象物の表示情報および注視対象物の表示態様にかかる画面制御情報を出力するものであって、車両の乗員が注視対象物を注視していると判定されたとき注視対象物の表示態様を変化させることにより車両の乗員の視線を誘導する視線誘導部と、視線誘導部が出力した画面制御情報に基づき表示部を制御する表示制御情報を出力する表示制御部と、車両の乗員が注視対象物を注視していると判定されたとき視線方向検出装置に向けてキャリブレーション制御信号を出力するキャリブレーション制御部とを備え、注視対象物は、表示部としてのインテリジェントパネルまたはカーナビゲーション装置の表示部が表示するアイコン、ボタン、あるいは表示部としてのヘッドアップディスプレイが表示するマーキングであり、視線誘導部は、車両の乗員が注視していると判定された第１の注視対象物とこれに引き続き注視されるべき第２の注視対象物とを表示部の異なる位置に配置させ、第２の注視対象物は、第１の注視対象物で選択された操作を決定する決定キーである。

この発明によれば、対象者の視線方向検出情報のキャリブレーションを精度よくかつ速やかに行うことができるという効果がある。

この発明の実施の形態１に係る視線方向検出システムの構成を示すブロック図である。 図１の視線方向検出装置の構成を示すブロック図である。 図１の視線状態判定部の構成を示すブロック図である。 図１のキャリブレーション制御部の構成を示すブロック図である。 図１の視線誘導部の構成を示すブロック図である。 図１の表示制御部の構成を示すブロック図である。 この発明の実施の形態１に係る表示制御装置の動作を示すフローチャートである。 注視対象物を基準点に向けて縮小して視線誘導する表示画面の例を示す図である。 注視対象物と次に注視すべき対象物を異なる位置に配置して視線誘導する表示画面の例を示す図である。 注視対象物を移動して視線誘導する表示画面の例を示す図である。 注視対象物を移動して視線誘導する表示画面の他例を示す図である。 画面遷移するときに視線誘導する表示画面の例を示す図である。 視線誘導モードの解除処理を示すフローチャートである。 この発明の実施の形態２に係る視線方向検出システムの構成を示すブロック図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る視線方向検出システムの構成を示すブロック図である。図１に示す視線方向検出システムは、例えば車両などの移動体に搭載されて対象者としての運転者の視線方向を検出するシステムであり、視線方向検出装置１、表示制御装置２および表示部３を備えて構成される。
視線方向検出装置１は、車室内の運転者の前方に設置されて運転者の視線方向を含む視線方向検出情報を出力する。視線方向検出装置１により検出された対象者の視線方向検出情報は、例えば、脇見運転および居眠り運転の検出を行う検出装置やインテリジェントパネルなどを視線で操作するＨＭＩに利用される。

表示制御装置２は、表示部３が表示する表示物を注視対象物とし、この注視対象物に基づいて視線方向検出装置１が出力する視線方向検出情報のキャリブレーションを制御する表示制御装置であり、視線状態判定部２０、キャリブレーション制御部２１、視線誘導部２２および表示制御部２３を備える。
なお、注視対象物とは、表示部３が表示して運転者に注視される基準点として使用される表示物で、予め定められているものである。これは、例えば、表示部としてのインテリジェントパネルまたはカーナビゲーション装置の表示部が表示するアイコン、ボタン、あるいは表示部としてのヘッドアップディスプレイ（以下、ＨＵＤと略す）が表示するマーキングなどが挙げられる。なお、基準点は、表示部に応じて任意に定められているものであって、視線方向検出情報のキャリブレーションを実行するのに望ましい位置に設定されている。また上述では基準点として５点を例示したが、適用される表示部に応じてそれよりも少ない基準点でもよいし、逆にそれよりも多い基準点を設定しても良い。

表示部３は、表示制御装置２から得た表示制御情報に応じて画面表示を変化させる表示部であり、例えば車室内の運転者の前方に設置される。
なお、表示部３は、インテリジェントパネルのように車両情報、ナビゲーション情報、オーディオ情報、エアコン情報などを表示する表示装置であってもよい。また、カーナビゲーションシステムやディスプレイオーディオ、ＨＵＤなどであってもよい。
また図１において破線で示す情報の流れは、後述する実施の形態において必要なものに過ぎず、必ずしも必要なものではない。よって破線で示す情報の流れについては必要な部分で説明することとし、ここではその説明を割愛する。

図１において、視線方向検出装置１は、運転者の視線方向を検出し視線方向検出情報を視線状態判定部２０に供給する。視線状態判定部２０は、この視線方向検出情報と後述する視線誘導部２２から得られる注視対象物の表示情報とを入手する。視線状態判定部２０は、これらの情報に基づき、運転者の視線方向に上述したアイコンなどの注視対象物があるか否かを判定する。さらに視線状態判定部２０は、注視対象物がある場合は運転者がそれを注視しているか否かを判定する。視線状態判定部２０は、これらの結果として視線状態情報を出力する。この視線状態情報は、キャリブレーション制御部２１および視線誘導部２２に与えられる。

視線誘導部２２では、視線状態情報に基づいて運転者の視線を誘導する。例えば運転者が注視対象物として特定のアイコンを注視していると判定された場合、視線誘導部２２は、このアイコンの表示範囲を基準点に向けて縮小することにより運転者の視線を基準点に向けて誘導する。すなわち視線誘導部２２は、当該アイコンの表示範囲を基準点に向けて縮小することで、運転者の視線を無意識のうちに基準点に誘導する。これは運転者が特定のアイコンを注視していると判定された場合に、視線誘導部２２が当該アイコンの表示範囲を基準点に向けて縮小するよう画面制御情報を表示制御部２３に供給することで実現される。表示制御部２３は、当該画面制御情報を受け、これに基づいて表示制御情報を生成し表示部３において当該アイコンを基準点に向けて縮小する。

視線誘導部２２は、さらに注視対象物の表示情報も出力する。これは注視対象物としてのアイコンの位置、すなわち基準点の位置情報などを含むものである。
注視対象物の表示情報は、視線方向検出装置１および視線状態判定部２０に与えられる。すなわち、視線方向検出装置１は、視線方向検出情報を出力するとともに、注視対象物の表示情報を得る。ここで視線方向検出装置１は、注視対象物の位置が分かれば運転者の視線方向を算出することができる。よって視線方向検出装置１は、視線方向検出情報と上述の算出により求めた運転者の視線方向とに基づいて、視線方向検出情報をキャリブレーションすることが可能になる。

一方、キャリブレーションを実行するタイミングなどについては、キャリブレーション制御部２１から視線方向検出装置１に与えられるキャリブレーション制御信号に従う。具体的には、視線状態判定部２０から出力される視線状態情報に基づいて、例えば、運転者が特定のアイコンを注視しており、かつ、所定時間経過した場合に、状態が安定していると判定して、その時に視線方向検出情報のキャリブレーションを実行する旨をキャリブレーション制御信号にて指示する。
なお、上述の各部の動作は一例を示して概要を説明したものであり、以下、詳細に説明する。また破線部については、追って必要なときに後述する。

図２は、図１の視線方向検出装置１の構成を示すブロック図である。視線方向検出装置１は、図２に示すように赤外線ＬＥＤ（発光ダイオード）１０、視線検出用カメラ１１、視線方向検出部１２、キャリブレーション部１３およびメモリ１４を備えて構成される。
赤外線ＬＥＤ１０は、様々なパターンの赤外光を運転者の目に照射するＬＥＤである。例えば、人の目に感じにくい近赤外線を照射する。また視線検出用カメラ１１は、赤外線ＬＥＤ１０により赤外光が照射された運転者の顔または眼の映像を取得する。視線検出用カメラ１１には、赤外光を撮影可能なＣＣＤなどが使用される。

視線方向検出部１２は、視線検出用カメラ１１で撮影された映像データを画像解析して視線方向を表す視線方向検出情報を検出し出力する。視線方向検出情報の検出方法としては、一般に赤外光を使用する角膜反射法が知られているが、その他の方法を用いてもよい。また、赤外線ＬＥＤ１０を用いずに、視線検出用カメラ１１のみを用い、撮影された映像データから画像解析で視線方向を検出してもよい。

キャリブレーション部１３は、視線方向検出部１２による視線方向検出情報のキャリブレーション処理を行う機能を有する。すなわち、視線方向検出部１２による視線方向検出情報と当該視線方向に存在する注視対象物の表示情報に基づいて、視線方向検出情報のキャリブレーションを実行する。キャリブレーションの実行タイミングは、キャリブレーション制御部２１からのキャリブレーション制御情報に従う。
例えばキャリブレーション部１３は、視線方向検出部１２に検出された視線方向検出情報を得る。またキャリブレーション部１３は、視線方向検出部１２に検出された視線方向に存在する注視対象物の表示情報を表示制御装置２から得る。注視対象物の表示情報としては、該当するアイコンなどの位置、サイズ情報、移動状態などのデータがあげられ、これらの情報を用いて、視線方向検出情報に対するキャリブレーションデータを算出する。キャリブレーション部１３が算出したキャリブレーションデータは視線方向検出部１２に設定される。また視線方向検出部１２は、キャリブレーションデータを用いて視線方向を検出する算出処理を補正する。これにより、キャリブレーションされた視線方向検出情報を算出することができる。

メモリ１４は、キャリブレーションデータの算出に使用する情報を格納する記憶部である。例えば、キャリブレーション部１３は、運転者が所定の注視対象物を注視したときの視線方向検出情報をメモリ１４に格納する。またキャリブレーション部１３は、視線方向検出部１２に検出された当該注視対象物の表示情報として、その表示範囲、基準点の位置、および、その移動状態などのデータを格納する。これらの情報は、同一の注視対象物を見たときの情報としてメモリ１４に蓄積しておき、その蓄積した情報をキャリブレーション部１３などで平均値、移動平均など所定の処理をして、当該注視対象物に対して確からしいキャリブレーションデータを算出して用いる。
なおキャリブレーションデータの算出には、上述のようにメモリ１４に蓄積して格納されている全ての情報を平均化などの処理をして使用してもよいが、正規分布を算出することなどにより所定以上の信頼性がある一部の情報を抽出して算出するようにしてもよい。

図３は図１の視線状態判定部２０の構成を示すブロック図である。視線状態判定部２０は、視線方向検出装置１が検出した視線方向検出情報および視線誘導部２２からの注視対象物の表示情報に基づいて、運転者が視線方向の注視対象物を注視しているか否かを判定する判定部である。その構成として、図３に示すように対象物判定部２００および注視状態判定部２０１を備える。

対象物判定部２００は、視線方向検出装置１が検出した視線方向検出情報および視線誘導部２２からの注視対象物の表示情報に基づいて、運転者の視線方向に注視対象物があるか否かを判定する。
例えば対象物判定部２００は、表示部３において運転者の視線方向から所定範囲内にある表示領域に予め定めた注視対象物としてのアイコンなどがあるかどうかを判定する。ここで所定範囲内とは、表示部３上において視線方向検出装置１が検出した視線方向を中心として、例えば半径４〜５ｃｍ程度の円の範囲内をいう。
なお、キャリブレーションが一度も実施されていない段階では、視線方向のオフセット誤差が大きいため、運転者が注視対象物を注視しても運転者の視線方向から上述の所定範囲内にある表示領域に当該注視対象物が入っていないことも考えられる。この場合には、対象物判定部２００は、視線方向に最も近い注視対象物を運転者が注視したと判定してもよい。また、運転者の視線方向を中心として表示部３上に描かれる半径４〜５ｃｍの円の範囲内に複数の注視対象物が存在した場合においても、運転者の視線方向に最も近い位置に表示されている表示物を注視対象物とする。

注視状態判定部２０１は、視線方向検出装置１が検出した視線方向検出情報に基づいて、運転者による注視対象物の注視状態を判定する。
例えば、視線方向検出装置１が検出した視線方向検出情報にあまりブレがない状態では運転者が注視対象物を注視していると判定する。他方、運転者の視線方向検出情報が大きく変化している状態では運転者が注視対象物を注視しておらず視線が移動していると判定する。ここで運転者が注視対象物を注視していることの判定は、例えば視線方向検出情報が注視対象物の表示範囲と同じ面積の範囲内にあることで行う。または視線方向検出情報が当該面積の範囲内を逸脱している場合であっても、平均化すれば当該面積の範囲内にあるならば、運転者が当該注視対象物を注視していると判定しても良い。

また、注視状態判定部２０１は、視線状態情報をキャリブレーション制御部２１および視線誘導部２２に出力する。ここで視線状態情報とは、運転者の視線方向に注視対象物があるかないかを示す情報および運転者が当該注視対象物を注視しているか否かを示す注視状態にかかる情報をいう。

図４は図１のキャリブレーション制御部２１の構成を示すブロック図である。キャリブレーション制御部２１は、視線方向検出装置１による運転者の視線方向検出情報のキャリブレーション処理を制御するキャリブレーション制御情報を生成して出力する。その構成としては、図４に示すように、制御判定部２１０および制御命令出力部２１１を備える。

制御判定部２１０は、視線状態判定部２０から与えられる視線状態情報、すなわち注視対象物の有無および注視状態に基づいて、キャリブレーション処理の制御内容を判定する。また、制御判定部２１０は、この判定に基づいて、制御命令出力部２１１に向けて適切なキャリブレーション制御情報を出力する。
例えば、制御判定部２１０は、運転者の視線方向に注視対象物があり、かつ運転者が注視対象物を注視していることが検出された場合、視線方向検出装置１に対し視線方向検出情報のキャリブレーションを開始するべきであると判定する。

これを受けて制御命令出力部２１１は、キャリブレーションを開始する旨のキャリブレーション制御情報を視線方向検出装置１へ出力する。具体的には、視線方向検出装置１の視線方向検出部１２に対して、キャリブレーションデータ保存開始命令を与える。
このとき図１に示す視線誘導部２２は、制御命令出力部２１１が視線方向検出装置１にキャリブレーションデータ保存開始命令を出力したときに、運転者が注視している注視対象物の位置情報を含む注視対象物の表示情報を出力する。これにより視線方向検出部１２は、検出した運転者の視線方向と注視対象物の位置（運転者の視線方向の真値）とを持つこととなる。
なお後述するが、制御命令出力部２１１が出力する制御命令としては、例えば、キャリブレーションデータ保存開始命令、キャリブレーションデータ保存停止命令、キャリブレーションデータ算出命令、キャリブレーションデータ更新命令などの制御命令がある。

図５は図１の視線誘導部２２の構成を示すブロック図である。視線誘導部２２は、運転者が注視していると視線状態判定部２０が判定した注視対象物を用いて運転者の視線誘導を行う。その構成としては、図５に示すように表示配置可変部２２０および対象物表示可変部２２１を備える。

表示配置可変部２２０は、視線状態判定部２０から入力した視線状態情報および表示状態管理部２２２から入手した現在の配置情報に基づいて、注視対象物を表示する配置を変更する。
例えば、運転者が第１の注視対象物を注視していると判定された場合に、これに引き続き注視されるべき第２の注視対象物を第１の注視対象物とは異なる位置に配置する画面配置変更情報を生成して表示状態管理部２２２へ出力する。

例示すると、第１の注視対象物が操作内容の選択キーであり、第２の注視対象物が選択キーで選択された操作内容を決定する決定キーである場合である。このとき表示配置可変部２２０は、第１の注視対象物である選択キーに対して第２の注視対象物である決定キーを表示部３の対角上に配置する。すなわち、表示配置可変部２２０は、現在の配置情報として第１の注視対象物である選択キーの配置情報を表示状態管理部２２２から取り込む。これに基づいて表示配置可変部２２０は、第２の注視対象物である決定キーを表示部３の対角上に配置する旨を指示する画面配置変更情報を表示状態管理部２２２に出力する。表示状態管理部２２２は、上述した表示配置可変部からの画面配置変更情報に基づき画面制御情報を表示制御部２３に向けて出力する。同時に表示状態管理部２２２は、注視対象物の表示情報を視線状態判定部２０と視線検出装置１に出力する。このようにすることで、視線誘導部２２は、運転者が選択キーを注視した後に対角上を移動して決定キーに至るように運転者の視線を誘導する。これにより、表示部３の対角位置である２点においてそれぞれ視線方向検出情報のキャリブレーションを実施することができる。
なお第１の注視対象物である選択キーと第２の注視対象物である決定キーは、必ずしも同時に描画されている必要はない。例えば、第１の注視対象物である選択キーを表示する第１の画面から第２の注視対象物である決定キーを表示する第２の画面へ遷移したときに、第１の画面における選択キーの位置と第２の画面における決定キーの位置が互いに対角となるように配置してもよい。

対象物表示可変部２２１は、視線状態判定部２０から入力した視線状態情報および表示状態管理部２２２から入手した現在の表示情報に基づいて注視対象物の表示態様を変更する。対象物表示可変部２２１は、例えば、注視対象物を縮小する縮小率と縮小させるときの基準点の位置、注視対象物を画面上で移動させる場合はその移動角度（移動方向）および移動速度など表示態様の変更を示す表示変更情報を生成して表示状態管理部２２２へ出力する。

ここで、例えば、運転者が注視対象物を注視していると判定された場合に、その注視対象物を基準点に向けて縮小させることで、基準点を注視するように運転者の視線が誘導される。これにより、運転者が注視対象物のどの部分を見ていても基準点に運転者の視線を誘導する。よって運転者の真の視線方向が基準点であるとしてキャリブレーションを実行することで、精度よく視線方向検出情報のキャリブレーションを実行することができる。
また、運転者が注視していると判定された注視対象物を予め定められた方向へ移動させることにより、注視対象物の動きを追うように運転者の視線が誘導される。これにより視線検出装置１で検出した視線の動きを示す角度情報と、実際に移動させた注視対象物の移動情報から得た真の角度情報とを比較することにより、視線が変化した角度についてキャリブレーションを実行することができる。
なお表示状態管理部２２２は、上述の画面配置変更情報あるいは表示変更情報を受けるとともに、これらの情報に基づいて画面制御情報を生成して表示制御部２３に供給する。同時に表示状態管理部２２２は、注視対象物の表示情報を視線状態判定部２０と視線検出装置１に向けて出力する。

図６は図１の表示制御部２３の構成を示すブロック図である。表示制御部２３は、表示部３の表示を制御する表示制御部である。また、表示制御部２３は、視線誘導部２２から入力した画面制御情報に従った表示制御情報を生成して表示部３に供給することにより、表示部３において運転者の視線を誘導する。その構成としては、図６に示すように画面制御情報処理部２３０および表示出力部２３１を備える。

画面制御情報処理部２３０は、視線誘導部２２から入力した画面制御情報に基づいて、これに従った表示となるような表示情報を生成して表示出力部２３１へ出力する。
表示出力部２３１は、画面制御情報処理部２３０から入力した表示情報に基づいて表示制御情報を生成して表示部３に出力する。これにより、表示部３は、画面制御情報処理部２３０が生成した表示情報に基づき、運転者の視線を誘導する表示を行う。

視線状態判定部２０、キャリブレーション制御部２１、視線誘導部２２および表示制御部２３は、例えば、この実施の形態１に特有な処理が記述されたプログラムをマイクロコンピュータが実行することで、ハードウェアとソフトウェアとが協働した具体的な手段として実現することができる。なお上述のプログラムは、例えばマイクロコンピュータと電気的に接続されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記述しておくことができる。またマイクロコンピュータが実施した各種の算出結果を一時的に記憶しておく記憶装置としてマイクロコンピュータと電気的に接続されたＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いることができる。

次に動作について説明する。
図７は、この発明の実施の形態１に係る表示制御装置２の動作を示すフローチャートであり、図１に示す視線方向検出装置１が検出する運転者の視線方向検出情報のキャリブレーションを行う例を示している。ここで図７のフローチャートは、キーオンした時に動作開始するものとする。
また前処理として、図１に示す視線方向検出システムの各構成に電源が投入されたときに、視線方向検出装置１、表示制御装置２および表示部３において必要な初期化処理がそれぞれ実行されているものとする。この初期化の際に、視線方向検出装置１のキャリブレーション部１３が、メモリ１４に既に登録されているキャリブレーションデータを読み出して視線方向検出部１２に設定してもよい。

初期化処理が完了すると、視線方向検出装置１は運転者の視線方向検出を開始し、この視線方向検出情報を表示制御装置２へ逐次出力する。
表示制御装置２の視線状態判定部２０は、視線方向検出装置１から入力した視線方向検出情報と視線誘導部２２から与えられる注視対象物の表示情報に基づいて、運転者の視線方向付近にある表示部３の表示領域に注視対象物があり、かつこれを運転者が注視している注視状態であるか否かを判定する（ステップＳＴ１）。
具体的には、視線状態判定部２０の対象物判定部２００が、視線方向検出装置１が検出した視線方向検出情報と視線誘導部２２から入力した注視対象物の表示情報に基づいて、表示部３に現在表示されている注視対象物の中に、運転者に注視されている注視対象物があるか否かを判定する。
運転者の視線方向付近にある表示部３の表示領域に注視対象物があることは、例えば、上述したように、運転者の視線方向を中心として表示部３上に描かれる半径４〜５ｃｍの円の範囲内に注視対象物があることで判定する。但し、視線方向検出装置１のキャリブレーションを１度も行ったことがない場合は、運転者の視線方向に最も近い位置に表示されている表示物を注視対象物とする。また、運転者の視線方向を中心として表示部３上に描かれる半径４〜５ｃｍの円の範囲内に複数の注視対象物が存在した場合においても、運転者の視線方向に最も近い位置に表示されている表示物を注視対象物とする。
運転者が注視対象物を注視していることは、例えば、所定時間（例えば、０．５秒）経過するまでの間、運転者の視線検出情報のブレが所定範囲以内（例えば、注視対象物の表示面積と同等程度の面積の範囲内）であることで判定する。あるいは、所定時間の視線の移動量の平均値が、当該面積の範囲内であることで判定する。

運転者の視線方向付近に注視対象物がない、あるいは視線方向付近にある注視対象物を明らかに注視していない場合（ステップＳＴ１；ＮＯ）、ステップＳＴ１の処理に戻り、上述の判定を繰り返す。
一方、運転者の視線方向付近に注視対象物があり、かつこれを運転者が注視している場合（ステップＳＴ１；ＹＥＳ）、視線状態判定部２０は、運転者が注視している注視対象物の有無に関する情報（注視対象物がある場合はその識別番号）とその注視状態を視線誘導部２２へ出力する。

視線誘導部２２は、運転者が注視していると判定された注視対象物に基づいて運転者の視線誘導を指示する画面制御情報を生成して表示制御部２３へ出力する（ステップＳＴ２）。そして、表示制御部２３が、視線誘導部２２から入力した画面制御情報に従い、運転者の視線を誘導する表示を表示部３に行わせるべく表示制御信号を表示部３に向けて出力する（ステップＳＴ３）。
以下、対象物表示可変部２２１の動作と、表示配置可変部２２０の動作のそれぞれについて説明する。
まず、視線誘導部２２の対象物表示可変部２２１は、注視対象物の注視状態に基づいて注視対象物の表示態様を変更する指示情報を生成するものである。
例えば、視線状態判定部２０から得た視線状態情報に基づいて、運転者が注視していると判定された注視対象物の識別番号から当該注視対象物を特定する。そして対象物表示可変部２２１は、特定された注視対象物の現在の表示情報に基づいて当該注視対象物が縮小されていないことを検知した場合には、当該注視対象物を予め定めた基準点に向かって縮小するよう表示する表示変更情報を生成する機能を有する。あるいは対象物表示可変部２２１は、特定された注視対象物の現在の表示情報に基づいて当該注視対象物を表示部３上で移動させる表示変更情報を生成する機能を有する。表示状態管理部２２２は、これらの表示変更情報に基づいて画面制御情報を生成して表示制御部２３へ出力する。ここで特定された注視対象物にかかる画面制御情報は、例えば、注視対象物を縮小する縮小率、縮小させるときの基準点の位置あるいは縮小させる速度などの情報あるいは該当対象物を画面で移動させる移動角度（移動方向）および移動速度などを示す情報である。表示制御部２３の画面制御情報処理部２３０は、視線誘導部２２から入力した画面制御情報に基づいて、これに従った表示となるような表示を表示部３に行わせる表示情報を生成して表示出力部２３１へ出力する。表示出力部２３１は、この表示情報を受け表示制御情報を生成して表示部３に向けて出力する。そして表示部３における注視対象物を運転者の視線を誘導するための表示態様に変化させる。この表示の詳細は、図８、図１０、図１１を用いて後述する。

また視線誘導部２２の表示配置可変部２２０は、運転者が注視していると判定された注視対象物の識別番号および注視状態に基づいて、当該注視対象物に引き続いて注視されるべき注視対象物について表示部３での配置を変更するものである。
例えば、当該注視対象物の識別番号から注視対象物が予め定めた種類の表示物、例えば機能を選択する操作内容にかかる選択キーであると判定された場合に当該注視対象物を第１の注視対象物とする。そして、これに引き続いて注視されるべき注視対象物として操作内容を決定する決定キーを第２の注視対象物とする。このとき表示配置可変部２２０は、表示状態管理部２２２から現在の表示情報を得て、これに基づいて第１の注視対象物とは異なる位置に第２の注視対象物を配置する画面配置変更情報を生成し表示状態管理部２２２に出力する機能を有する。表示状態管理部２２２は、画面配置変更情報に基づいて画面制御情報を生成し、表示制御部２３へ出力する。
表示制御部２３の画面制御情報処理部２３０は、視線誘導部２２から入力した画面制御情報に基づいて、これに従った表示となるような表示を表示部３に行わせる表示情報を生成して表示出力部２３１へ出力する。表示出力部２３１は、この表示情報を受け表示制御情報を生成して表示部３に向けて出力する。この表示の詳細は、図９、図１２を用いて後述する。

視線誘導部２２は、注視対象物の位置を含む注視対象物の表示情報を視線状態判定部２０に出力するとともに視線方向検出装置１に向けて出力する（ステップＳＴ４）。これにより視線検出装置１は、視線方向検出情報と、真の視線方向である注視対象物の表示情報とを有することとなる。よって視線方向検出装置１は、両者を比較することにより視線方向検出情報を真の視線方向に合わせるべくキャリブレーションの算出を実行することが可能となる。

キャリブレーション制御部２１は、キャリブレーション制御信号を視線検出装置１に向けて出力する（ステップＳＴ５）。例えば、キャリブレーション制御部２１は、運転者が注視対象物を注視していると判定され（ステップＳＴ１）、表示部３で視線誘導の表示が行われた後（ステップＳＴ２、ステップＳＴ３）、視線方向検出装置１に対してキャリブレーションデータ測定の開始し測定されたキャリブレーションデータを保存する旨を指示するキャリブレーションデータ保存開始命令を出力する。ここでキャリブレーションデータとは視線方向検出情報のキャリブレーションを実行するために必要な情報で、例えば、視線方向検出情報と運転者の真の視線方向とのずれにかかわる情報である。
これにより視線方向検出装置１は、例えば１秒間に３０回（３０Ｈｚ）の頻度でキャリブレーションデータを測定し、これをメモリ１４に保存する。なおメモリ１４に格納するサンプル数は、各基準点において３０個程度あれば十分である。即ち、運転者が注視していると判定する条件として０．５秒の間、視線がブレていないと判定してから１秒程度あれば当該基準点におけるキャリブレーションは終了してもよい。従ってキャリブレーション制御部２１は、上述のキャリブレーションデータ保存開始命令を出力してから所定時間、例えば１〜２秒後にキャリブレーションデータ保存停止命令を出力すればよい。これによりメモリ１４へのキャリブレーションデータの保存が停止する。

キャリブレーションデータのサンプルが集まれば、キャリブレーション部１３は、信頼性のあるキャリブレーションデータを算出することができる。よってキャリブレーション制御部２１は、キャリブレーションデータ保存停止命令を出力した後、視線方向検出装置１に対して、キャリブレーションデータ算出命令を出力する。これに基づきキャリブレーション部１３は、キャリブレーションデータを算出する。そして得られたキャリブレーションデータは、メモリ１４に送られ記憶あるいは情報の更新がなされる。このためキャリブレーション制御部２１は、キャリブレーションデータ算出命令に引き続いて、視線方向検出装置１に対してキャリブレーションデータ更新命令を出力する（ステップＳＴ５）。
以上のように、ステップＳＴ５でいう制御命令には、キャリブレーションデータ保存開始命令、キャリブレーションデータ保存停止命令、キャリブレーションデータ算出命令、キャリブレーションデータ更新命令などの制御命令が含まれる。

また、上述ではキャリブレーション保存開始命令を出力してから１〜２秒の所定時間後にキャリブレーションデータ保存停止命令を出力するようにした。しかしながら所定時間が経過する前に運転者が注視対象物を注視しなくなったと判定されたときには、速やかにキャリブレーションデータ保存停止命令を出力する。運転者が注視対象物を注視していない状態では、当該注視対象物に対する視線検出情報のキャリブレーションを実施することはできないからである。

あるいは運転者が所定のスイッチを押下することによりキャリブレーション保存開始命令を出力し、再度のスイッチの押下によりキャリブレーションデータ保存停止命令を出力するようにしてもよい。これは運転者の意思に基づいてキャリブレーションを実施するので、その間は、運転者が注視対象物を注視していると考えられるからである。

さらには、運転者が操作キーを注視した後、この操作内容を決定する決定キーを押下することにより当該操作内容を決定する装置の場合は、運転者が操作キーの注視から視線を移動して決定キーを注視していると判定されたときにキャリブレーション保存開始命令を出力し、運転者が決定キーを押下したときにキャリブレーションデータ保存停止命令を出力するようにしてもよい。これは運転者が決定キーを押下するときには決定キーを注視していると判定されてから決定キーを押下するまでには１〜２秒程度の所定時間が十分経過していると推定されるからである。

視線方向検出部１２は、上述の処理により得られたキャリブレーションデータを用いて視線方向を検出する算出処理を補正する。これにより、運転者ごとにキャリブレーションされた視線方向検出を実施できる。

なお同一の運転者であっても、キャリブレーションを実施してからの時間経過によって環境が変化すると、再び検出誤差が発生する可能性がある。このため、キャリブレーション処理は定期的あるいは所定のトリガ（例えば乗車するときなど）ごとに実行することが望ましい。この実施の形態１では、キーオンをトリガとして図７のフローチャートが実行されるので、キーオンされる毎に視線方向検出情報のキャリブレーションが実行されることになる。なおキャリブレーションを実行するトリガは、キーオンに限定されるわけではなく、当業者であればいろいろな態様が考えられる。

次に視線誘導処理について具体例を挙げて説明する。
図８は、注視対象物を縮小して視線誘導する表示画面の例を示す図である。図８（ａ）は、表示部３が運転席の前方のインストルメントパネル（以下、インパネと略す）に配置されたインパネディスプレイである場合を示している。また図８（ｂ）は、表示部３が運転席前方のフロントガラスあるいはハンドルとフロントガラスとの間に設けられた投影板などに情報を投影表示するＨＵＤである場合を示している。視線方向検出装置１は、表示部３付近の位置に設けられ、運転者に対面して赤外線発光ダイオードの光を照射する。

本実施の形態では、図８（ａ）および図８（ｃ）に示すように表示部３が表示画面３ａに表示する表示物を運転者が注視すべき注視対象物４としている。例えば、予め定めたアイコン画像、ボタン画像、マーキングなどを注視対象物４とし、これらを識別する識別番号を視線誘導部２２に設定しておく。
なお注視対象物４は、表示部３に表示される任意の表示物を注視対象物としても良いし、あるいは予め定めた表示物を注視対象物としても良い。また図８（ａ）または（ｂ）に破線で示すように注視対象物４を表示部３の中央部に設定しても良い。

視線誘導部２２の対象物表示可変部２２１は、表示画面３ａに表示される注視対象物４のうち、視線状態判定部２０によって運転者がある注視対象物４を注視していると判定されたとき、この注視対象物４を基準点に向かって縮小する表示変更情報を生成する。この表示変更情報は、注視対象物４を縮小するときの縮小率、縮小させるときの基準点の位置あるいは縮小させる速度などの情報である。

表示状態管理部２２２は、表示変更情報と現在の表示情報とに基づいて画面制御情報を生成し、表示制御部２３に出力する。表示制御部２３は画面制御情報を受け、表示制御情報を生成して表示部３に向けて出力する。これにより図８（ａ）のインパネディスプレイの場合は、左上の注視対象物４がその中心に向かって徐々に縮小して表示される。同様に図８（ｂ）のＨＵＤでは右上の注視対象物４がその中心に向かって徐々に縮小して表示される。ここで注視対象物４の縮小表示は、図８（ｃ）に示すものが考えられる。１つは注視対象物４の中心を基準点とし、この基準点に向かって徐々に縮小しながら表示するものである。あるいは注視対象物が矩形状のものである場合は、その４隅のうちいずれか１点を基準点とし、この基準点に向かって徐々に縮小しながら表示されるものである。すなわち注視対象物の縮小は、必ずしも注視対象物の中心に向かって縮小するものでなくても良い。このように運転者が注視対象物４を注視し、これに続いて注視対象物の表示サイズが縮小される表示変化によって運転者の視線が基準点に向かって誘導される。
従って、運転者が注視対象物４の基準点を注視することになり、当該基準点における視線方向検出情報のキャリブレーション精度が向上する。

図９は、注視対象物とその次に注視すべき対象物を異なる位置に配置して視線誘導する表示画面の例を示す図であり、図９（ａ）および図９（ｂ）は表示部３がインパネディスプレイである場合を示している。図９（ａ）および（ｂ）において、表示画面の左側には第１の注視対象物となる選択キーが複数個並べられている。他方、画面の右側の上下の隅にはそれぞれ第２の注視対象物となる決定キー４ｂと取消キー４ｃとが配置されている。ここで選択キーとは上述したごとく機能内容を表すキーで、決定キーは選択キーで選択した機能内容を決定するキーである。また取消キーは、選択キーで選択した機能内容を取り消すもので、一旦選択したキーを取り消して別の選択キーを選ぶためのキーである。
ここで、運転者が第１の注視対象物として左上の選択キー４ａを注視したとき、選択キー４ａを徐々に縮小して表示し、この状態で選択キー４ａについてキャリブレーションデータを取得する。これは図７のフローチャートにおいて、運転者が左上の選択キー４ａを注視した状態であると判定され（ステップＳＴ１）、ステップＳＴ２、３により選択キー４ａが縮小表示され、ステップＳＴ４で注視対象物としての選択キー４ａの表示情報が出力され、ステップＳＴ５でキャリブレーション制御信号が出力されることで実行される。
次に第２の注視対象物として運転者が決定キー４ｂを注視した場合は、同様に決定キー４ｂを徐々に縮小して表示し、この状態で決定キー４ｂについてキャリブレーションデータを取得する。このときも上述の図７のフローチャートが同様に実行される。これにより図９（ｂ）において実線ａで示す如く運転者の視線が移動したときに、表示部３の対角の２点で視線方向検出情報のキャリブレーションを実行することができる。また第２の注視対象物として運転者が取消キー４ｃを注視した場合は、同様に取消キー４ｃを徐々に縮小して表示し、この状態で取消キー４ｃについてキャリブレーションデータを取得する。これにより図９（ｂ）において破線ｂで示す如く運転者の視線が移動したときに、表示部３の一辺の２点で視線方向検出情報のキャリブレーションを実行することができる。

なお第１の注視対象物として運転者がいずれの選択キー４を注視するかは不明である。
しかしながら図９の例では表示画面の左下の選択キー４を選択した場合は、続いて決定キー４ｂを注視すれば、表示部３の一辺の２点で視線方向検出情報のキャリブレーションを実施することができる。同様に決定キー４ｂではなく取消キー４ｃを中止した場合は、表示部３の対角の２点で視線方向検出情報のキャリブレーションを実施することができる。

あるいは選択キーを注視した後、続いて運転者が注視するのは決定キー４ｂである可能性が高いと考えられることから、表示画面の左下の選択キー４を選択した場合は、決定キー４ｂと取消キー４ｃの表示を入れ替えても良い。視線方向検出情報のキャリブレーションの精度を高めるには、最初は、表示部３の一辺の２点よりも表示部３の対角の２点でキャリブレーションデータを取得することが望ましい。従って、運転者が注視した選択キーに応じて決定キーあるいは取消キーなどの位置を変更することにより、視線方向検出情報のキャリブレーションの精度を高めることができる。このときは図７のフローチャートにおいて、左下の選択キー４ａを縮小表示した後、ステップＳＴ２、３により決定キー４ｂと取消キー４ｃの配置を入れ替える。これは視線誘導部２２の表示配置可変部２２０により実行される。その後、運転者が右上に移動して表示された決定キーを注視したと判定すると、図７のフローチャートにより右上に移動して表示された決定キーを縮小表示してキャリブレーションデータを取得する。

本実施の形態では、選択キー４ａで選択された操作を最終的に決定する場合、一般的に決定キー４ｂが操作されることを利用して、運転者が注視していると判定された注視対象物が選択キー（第１の注視対象物）４ａであると、これに引き続き注視されるべき決定キー（第２の注視対象物）４ｂを、表示部３の表示画面３ａで異なる位置に配置する。
これにより運転者が選択キー４ａを注視すると、選択キー４ａの表示サイズが縮小されて基準点に視線が誘導され、その注視状態から決定キー４ｂへ視線が誘導される。

具体的には、視線誘導部２２の対象物表示可変部２２１が、注視対象物の注視状態に基づいて、注視対象物を縮小する表示変更情報を生成する。
表示管理部２２２は、現在の表示状態と表示変更情報に基づいて画面制御情報を出力する。この画面制御情報は、現在の表示状態から基準点に向けて縮小した表示態様となるよう指示するものである。その結果、注視対象物は、基準点に向かって所定の大きさになるまで徐々に縮小してゆくこととなる。なお所定の大きさとは、キャリブレーションデータを取得するのに十分小さい状態をいい、例えば５ｍｍから１ｃｍ程度を一辺とする矩形、あるいは当該寸法を直径とする円あるいはその他の形状である。

上述したように選択キー４ａと決定キー４ｂを表示画面３ａで互いに異なる位置に配置することで、運転者の視線は選択キー４ａから決定キー４ｂへ自然に誘導される。
従って、キャリブレーション時間の短縮化とキャリブレーション精度の向上を図ることができる。

また、注視対象物を選択キー４ａとし、これに引き続き注視されるべき注視対象物を決定キー４ｂとする場合を示したが、これに限定されるものではない。
例えば、操作者によらず収集したアイコン操作の履歴から、運転者が最初に注視されたアイコン（第１の注視対象物）に引き続き選択される選択率を求め、この選択率が閾値を超えるアイコンを第２の注視対象物としてもよい。

図１０は、注視対象物を移動して視線誘導する表示画面の例を示す図であり、図１０（ａ）から図１０（ｄ）は表示部３がインパネディスプレイである場合を示している。
本実施の形態では、図１０（ａ）に示すように運転者が注視対象物を注視している場合、図１０（ｂ）に示すように注視対象物４を予め定められた方向ｃ１へ移動させる。

具体的には、対象物表示可変部２２１は、視線状態情報により運転者が注視対象物を注視していると判定されたとき、注視対象物を移動する表示変更情報を生成する。表示変更情報は、注視対象物を移動するときの移動の角度（方向ｃ１）および移動速度などにかかる情報である。対象物表示可変部２２１は、表示状態管理部２２２から現在の表示情報を入手し、表示変更情報を表示状態管理部２２２に出力することにより、図１０（ｂ）に示すように注視対象物４を表示画面３ａで例えば左側から右側に向かって移動させる。
このように運転者が注視した注視対象物４を移動させる表示変化によって運転者の視線が予め定められた方向ｃ１に誘導される。従って、視線が誘導して移動前と移動後の注視対象物に対してキャリブレーションデータを取得することができ、キャリブレーション精度が向上する。
すなわち、本実施の形態１において、注視対象物を縮小することは必ずしも必要なものではない。なお注視対象物を図１０（ａ）から（ｂ）の状態に移動させるには、上述の図７のフローチャートを実行することにより可能である。

さらに、移動させる注視対象物４としては、例えば図１０（ｃ）に示すような開封済みのメールアイコンなどが挙げられる。開封済みメールを削除する場合、図１０（ｄ）に示すように、メールアイコンをゴミ箱アイコンに捨てるイメージで、注視対象物４であるメールアイコンをゴミ箱アイコン４ｄの方向ｃ２へ移動させる。
これにより、運転者の視線は、メールアイコンを最初に注視した位置からゴミ箱アイコン４ｄの位置まで誘導される。このとき、メールアイコンとゴミ箱アイコン４ｄとを対角上に配置しておけば、選択キーと決定キーの場合と同様にキャリブレーションデータを取得することが可能となる。

図１１は、注視対象物を移動して視線誘導する表示画面の他例を示す図であり、図１１（ａ）から図１１（ｃ）は表示部３がインパネディスプレイである場合を示している。
表示領域ｄは、表示部３の表示画面３ａの位置（表示領域）のうちで、視線方向検出情報のキャリブレーション精度が最も悪い位置である。ここでキャリブレーション精度が最も悪いというのは、まだ一度もキャリブレーションが実行されていない位置、あるいは過去にキャリブレーションを実行した者のうち最も精度が悪い位置というものが考えられる。本実施の形態では、注視対象物をキャリブレーション精度が最も悪い表示領域ｄに移動しかつ縮小状態とする。なお図１に破線により例示して示すように、過去のキャリブレーションにおける視線方向検出情報のキャリブレーション精度が最も悪い位置は視線方向検出装置１から得るものである。例えばキャリブレーション精度にかかるキャリブレーション精度情報を視線誘導部２２に導入するようにしても良い。なおその他の破線部分については、ここでは必要ないので後述にて説明する。

具体的には、視線誘導部２２の対象物表示可変部２２１は、視線検出装置１から得るキャリブレーション精度が最も悪い位置にかかる情報と、表示状態管理部２２２から得る現在の表示情報とに基づいて、注視対象物４を表示領域ｄへ移動する表示変更情報を生成する。また対象物表示可変部２２１は、表示状態管理部から得た現在の表示情報に基づいて注視対象物を徐々に縮小する表示変更情報を生成する。これらを両立する表示変更情報は表示状態管理部２２２に与えられる。表示状態管理部２２２は、この表示変更情報に基づいて、注視対象物４を縮小させながら表示領域ｄへ移動する画面制御情報を生成する。これにより、図１１（ｂ）に示すように注視対象物４を縮小させながら表示領域ｄへ移動させる。このようにすることで、表示領域ｄでキャリブレーションが実行されるので、表示領域ｄにおけるキャリブレーション精度を向上させることができる。
なお、図１１（ｂ）に示すように注視対象物を縮小しつつ移動させて表示領域ｄに至る場合の他、図１１（ｃ）に示すように注視対象物が表示領域ｄに到達したときに縮小させてもよい。あるいは注視対象物の縮小表示は必ずしも必要ではなく、省略しても良い。

なお上述では、注視対象物をキャリブレーション精度が最も悪い位置を含む表示領域ｄに移動する例を記載した。しかしながら、これは必ずしも予め定められた基準点に移動するものに限られるものではなく、原則として、優先的に表示領域ｄに移動させればよいというものである。例えば、キャリブレーション精度がよかったとしても、キーオンしてから一度も視線方向検出情報のキャリブレーションを実施していない表示領域があれば、まずはそちらを優先するという考え方もできるからである。

図１２は、画面遷移するときに視線誘導する表示画面の例を示す図であって、図１２（ａ）から図１２（ｃ）は表示部３がインパネディスプレイである場合を示している。
図１２（ａ）において、運転者が注視して縮小されているアイコン（第１の注視対象物）Ａには、これに引き続いて注視されるべきアイコン（第２の注視対象物）４−１が関連付けられている。例えば、操作者によらず収集したアイコン操作の履歴から運転者が最初に注視したアイコン（第１の注視対象物）に引き続き選択されるアイコン操作の選択率を求め、この選択率が閾値を超える操作に対応するアイコンを第２の注視対象物とすることで上述の関連付けを実行する。なおアイコン操作の履歴に基づく関連付けについては当業者であれば容易に想到し得るため、ここでは説明を割愛する。

図１２の動作においては、視線誘導部２２の表示配置可変部２２０が、注視対象物の識別番号から、注視対象物が第１の注視対象物であると判定された場合に、これに引き続いて注視されるべき第２の注視対象物を特定する。ここで引き続いて注視されるべき第２の注視対象物とは、選択率が最も高い注視対象物４−１である。
次に、表示配置可変部２２０は、第１の注視対象物を表示した表示画面３ａ−１とは異なる表示画面であって、表示画面３ａ−１から遷移して表示される表示画面３ａ−２において、第２の注視対象物を第１の注視対象物と対角になる位置に配置する画面配置変更情報を生成して出力する。
表示制御部２３は、この画面配置変更情報に従い、表示画面３ａ−１に表示されていた第１の注視対象物としての注視対象物Ａに対して、表示画面３ａ−２における第２の注視対象物としての注視対象物４−１を対角となる位置に配置する。

本実施の形態では、運転者が注視していると判定された第１の注視対象物が表示される表示画面（第１の表示画面）３ａ−１から、第２の注視対象物が表示される表示画面（第２の表示画面）３ａ−２へ画面遷移する。このとき第１および第２の注視対象物は、表示画面３ａ−１と表示画面３ａ−２とで対角となる位置にそれぞれ配置される。
例えば、図１２（ｂ）に示すように、表示画面３ａ−１における“ＡＵＤＩＯ”ボタンを操作したときに、これ引き続き操作される可能性が高い楽曲のアーティストを選択するための“アーティスト”ボタンを表示画面３ａ−２の対角位置に配置する。
このようにすることで、図１２（ｃ）に示すように、画面遷移を介して運転者の視線が対角線上に誘導され、距離ａを移動することになる。このため、キャリブレーションに必要なキャリブレーションデータを縦横の２次元について効率的に取得することができ、キャリブレーション精度の向上を速やかに図ることができる。
なお上述では第１の注視対象物に対して第２の注視対象物を対角位置に表示する例を示したが、これに限らない。例えば図１２（ａ）において注視対象物Ａを注視したと判定したとき、その後の画面遷移において注視対象物４−１を右上、左下あるいは画面の中央部など任意の位置に表示するようにしても良い。この任意の表示位置については、キャリブレーションの精度、あるいはキャリブレーションを一度も実施していない基準点などの状況が考慮されても良い。

なお、上述したキャリブレーション処理は、表示部３で運転者の視線を誘導する表示を行うものであり、この運転者の視線を誘導する表示が常に行われる場合、運転者が違和感を持つ可能性がある。
そこで、視線方向検出情報のキャリブレーション精度が予め定めた閾値Ａを超えている場合は、視線方向検出情報の精度は十分であると判定して視線誘導モードを解除してもよい。ここで予め定めた閾値Ａとは視線方向検出情報に基づいて装置を操作する上において、大きな支障なく操作が可能と判断される適切な値に設定される。

図１３は視線誘導モードの解除処理を示すフローチャートである。
図１３のフローチャートは、キースイッチのオンをトリガとして起動するものであって、図７で示したフローチャートとは直接的には関係なく実行される。このフローチャートの制御思想は、キーオンしてから所定時間、例えば５〜１０分間は運転者の視線を誘導する表示を実行する。そして５〜１０分間が経過した時点で視線方向検出装置１の視線方向検出情報の精度が対象とする装置を操作する上で十分な精度を有していると判定された場合は、運転者の視線を誘導する表示を終了する。他方、視線方向検出装置１の視線方向検出情報の精度が対象とする装置を操作する上で十分な精度を有していない場合は、さらに５〜１０分間ほど運転者の視線を誘導する表示を実行し、上述の十分な精度を有しているかどうかを判定する。これにより運転者の視線を誘導する表示を必要以上に実行することを抑止するというものである。
以下、図１３のフローチャートに沿って説明する。
まず、キャリブレーション制御部２１が、最初はキーオンをトリガとしてタイマを起動し、タイマが所定時間、例えば１０分間を経過したか否かを判定する（ステップＳＴ１１）。ここで、所定時間が経過していなければ（ステップＳＴ１１；ＮＯ）、ステップＳＴ１１の判定を繰り返す。

所定時間が経過した場合（ステップＳＴ１１；ＹＥＳ）、キャリブレーション制御部２１が、キーオンしてから所定時間経過するまでの間の処理で得られたキャリブレーション精度が予め定めた閾値Ａを超えているかどうかを判定する（ステップＳＴ１２）。ここで上述では、キャリブレーション精度情報は、視線方向検出装置１から視線誘導部２２に与えられる旨記載したが、この情報はキャリブレーション制御部２１にも与えられるようにしても良い。参考として図１に破線にて示す。
キャリブレーション精度が閾値Ａを超えていると判定した場合（ステップＳＴ１２；ＹＥＳ）、キャリブレーション制御部２１は、視線方向検出装置１に対してキャリブレーション処理を停止するよう指示するとともに、この判定結果を視線誘導部２２に通知する。
視線誘導部２２は、この判定結果を受けると視線誘導モードを解除する（ステップＳＴ１３）。このとき、視線誘導部２２は、視線誘導のための画面配置変更情報および表示変更情報を生成せず、表示部３は運転者の視線を誘導する表示を行わない。

一方、キャリブレーション精度が閾値Ａ以下であると判定した場合（ステップＳＴ１２；ＮＯ）、キャリブレーション制御部２１は、視線方向検出装置１によるキャリブレーション処理を継続する。すなわち、ステップＳＴ１５でタイマを初期化してステップＳＴ１１に処理を戻すことにより、ここから更に所定時間経過するまで運転者の視線を誘導する表示を実行する。

なお上記実施の形態１では予め定められた注視対象物として特定のアイコンなどを例示して説明したが、注視対象物は必ずしも予め定められていなくても良い。
運転者が注視した任意のアイコンなどを注視対象物として、上述と同様に運転者の視線誘導することも可能である。

以上のように、この実施の形態１によれば、運転者の視線を予め定められた方向または位置に誘導するため、この誘導の前後でキャリブレーションデータを測定すれば、複数の基準点でキャリブレーションデータを得ることが可能である。また視線を所定の方向または位置に誘導することにより、視線が移動する角度についてキャリブレーションデータを得ることができる。これにより、視線方向検出のキャリブレーションを精度よくかつ速やかに行うことができる。

また、この実施の形態１によれば、視線誘導部２２が、運転者が注視していると判定された注視対象物を基準点に向かって縮小させるので、運転者の視線が注視対象物の基準点へ誘導されて基準点ごとの測定精度を向上させることができる。これによりキャリブレーション精度の向上を図ることができる。

さらに、この実施の形態１によれば、視線誘導部２２が、運転者が注視していると判定された第１の注視対象物とこれに引き続き注視されるべき第２の注視対象物を表示部３の異なる位置に配置させる。このようにすることで、第１の注視対象物から第２の注視対象物へ運転者の視線が誘導され、視線方向検出情報のキャリブレーションを精度よくかつ速やかに行うことができる。

さらに、この実施の形態１によれば、第１および第２の注視対象物が、表示部３の表示画面３ａの対角位置に配置される。このようにすることで、キャリブレーションデータを縦横の２次元について得ることが可能であり、視線方向検出情報のキャリブレーションを精度よくかつ速やかに行うことができる。

さらに、この実施の形態１によれば、第１の表示画面で第１の注視対象物を注視した後、第２の表示画面に画面遷移したとき、第２の注視対象物を第１の注視対象物とは対角となる位置に配置する。
このようにすることでも、視線方向検出情報のキャリブレーションを精度よくかつ速やかに行うことができる。

さらに、この実施の形態１によれば、視線誘導部２２が、運転者が注視していると判定された注視対象物を表示部３の表示画面３ａの予め定められた方向へ移動させる。
このようにすることで、視線の移動角度についてもキャリブレーションを実行することができるので視線方向検出情報のキャリブレーションを精度よくかつ速やかに行うことができる。

さらに、この実施の形態１によれば、注視対象物が表示部３の表示画面３ａの予め定められた位置へ移動される。このようにすることで、視線方向検出情報のキャリブレーションを精度よくかつ速やかに行うことができる。

さらに、この実施の形態１によれば、注視対象物が表示部３の表示画面３ａの予め定められた位置のうち、視線方向検出のキャリブレーション精度が最も悪い位置に優先的に移動される。そして望ましくは、かつ、縮小状態となる。このようにすることで、該当位置でキャリブレーションが実施されるので、該当位置におけるキャリブレーション精度を速やかに向上させることができる。

さらに、この実施の形態１によれば、キャリブレーション制御部２１が予め定めた条件に応じてキャリブレーションを制御する。このように構成することで、キャリブレーションの開始と終了を適切なタイミングで行うことが可能である。
特に、この条件が運転者のスイッチ操作である場合は、運転者が意図するタイミングでキャリブレーションを行うことができる。
また、上記タイミングとして運転者が注視対象物を注視してからの時間経過を用いる場合、運転者が意識せずにキャリブレーション測定を行うことができる。例えば、運転者が車両を運転している間にキャリブレーションを行う場合に好適である。

さらに、この実施の形態１によれば、視線誘導部２２が、視線方向検出情報のキャリブレーション精度が予め定めた閾値を超えて十分高い精度を有している場合、視線誘導を解除する。これにより、運転者の視線を誘導する表示を常時行うことを抑止して運転者の違和感を抱かせることがないようにすることができる。

実施の形態２．
図１４は、この発明の実施の形態２に係る視線方向検出システムの構成を示すブロック図である。視線方向検出部１２に検出された視線方向検出情報は、運転者の個人差に起因する誤差がある。このため視線方向検出情報の検出精度を確保するためには、運転者ごとにキャリブレーションを実行することが望ましい。
図１４に示す視線方向検出システムは、実施の形態１と同様に車両などの移動体に搭載されて運転者の視線方向を検出するシステムであり、視線方向検出装置１、表示制御装置２Ａおよび表示部３を備えて構成される。なお、図１４において図１と同様の構成には同一符号を付して説明を省略する。

実施の形態２に係る表示制御装置２Ａは、実施の形態１の構成に加え、個人認証部２４を備える。個人認証部２４は、運転者ごとの認証情報に基づいて運転者の認証を行う。例えば、認証情報としては、運転者の顔を撮影した撮影情報、運転者の生態情報、運転者が所有する携帯端末の機器情報などがある。
個人認証部２４は、これら情報と運転者個人ごとの登録情報とを照合して、予め登録された運転者であるかどうかを認証する。個人認証部２４の認証結果はキャリブレーション制御部２１へ出力される。

キャリブレーション制御部２１は、個人認証部２４が認証した運転者についてのキャリブレーションを行うよう視線方向検出装置１に指示する。
例えば、キャリブレーション部１３に対し、個人認証部２４が認証した運転者に関する視線方向検出情報のキャリブレーションデータを算出させる。すなわち、メモリ１４には個人ごとに対応してキャリブレーションデータが格納される。
また、視線方向検出部１２に対して、メモリ１４に格納されているキャリブレーションデータのうち、個人認証部２４が認証した運転者に対応するキャリブレーションデータを用いて、視線方向を検出する算出処理を補正させる。
このようにすることで、個人認証部２４に認証された運転者ごとに視線方向検出情報のキャリブレーションを実施できる。

視線状態判定部２０、キャリブレーション制御部２１、視線誘導部２２、表示制御部２３および個人認証部２４は、上述した実施の形態１と同様に、例えば、この実施の形態２に特有な処理が記述されたプログラムをマイクロコンピュータが実行することで、ハードウェアとソフトウェアとが協働した具体的な手段として実現することができる。

以上のように、この実施の形態２によれば、表示制御装置２Ａは、対象者の認証を行う個人認証部２４をさらに備える。これによりキャリブレーション制御部２１は、個人認証部２４に認証された対象者ごとのキャリブレーションデータを用いて、視線方向検出装置１が出力する視線方向検出情報を対象者ごとにキャリブレーションを実行することができる。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る表示制御装置は、対象者の視線方向検出情報についてのキャリブレーションを精度よくかつ速やかに行うことができるので、例えば、運転者の視線方向を利用して運転を支援する運転支援システムに好適である。

１ 視線方向検出装置、２，２Ａ キャリブレーション制御装置、３ 表示部、３ａ，３ａ−１，３ａ−２，３ｂ 表示画面、４，４ｂ，４ｃ，４ｄ，４−１〜４−４ 注視対象物、４ａ 縮小した注視対象物、５ スイッチ、１０ 赤外線ＬＥＤ、１１ 視線検出用カメラ、１２ 視線方向検出部、１３ 補正部、１４ メモリ、２０ 視線状態判定部、２１ キャリブレーション制御部、２２ 視線誘導部、２３ 表示制御部、２４ 個人認証部、２００ 対象物判定部、２０１ 注視状態判定部、２１０ 制御判定部、２１１ 制御命令出力部、２２０ 表示配置可変部、２２１ 対象物表示可変部、２３０ 表示状態管理部、２３１ 表示出力部。

Claims (17)

1. 表示部が表示する表示物を注視対象物とし、この注視対象物に基づいて視線方向検出装置のキャリブレーションを制御する表示制御装置であって、
   前記視線方向検出装置が検出した視線方向検出情報と前記注視対象物の表示情報とに基づいて車両の乗員がその視線方向に存在する前記注視対象物を注視しているか否かを判定する視線状態判定部と、
   前記注視対象物の表示情報および前記注視対象物の表示態様にかかる画面制御情報を出力するものであって、前記車両の乗員が前記注視対象物を注視していると判定されたとき前記注視対象物の表示態様を変化させることにより前記車両の乗員の視線を誘導する視線誘導部と、
   前記視線誘導部が出力した前記画面制御情報に基づき前記表示部を制御する表示制御情報を出力する表示制御部と、
   前記車両の乗員が前記注視対象物を注視していると判定されたとき前記視線方向検出装置に向けてキャリブレーション制御信号を出力するキャリブレーション制御部とを備え、
   前記注視対象物は、前記表示部としてのインテリジェントパネルまたはカーナビゲーション装置の前記表示部が表示するアイコン、ボタン、あるいは前記表示部としてのヘッドアップディスプレイが表示するマーキングであり、
   前記視線誘導部は、前記車両の乗員が注視していると判定された第１の注視対象物とこれに引き続き注視されるべき第２の注視対象物とを前記表示部の異なる位置に配置させ、
   前記第２の注視対象物は、前記第１の注視対象物で選択された操作を決定する決定キーであること
   を特徴とする表示制御装置。
2. 前記視線誘導部は、前記車両の乗員が注視していると判定された前記注視対象物を基準点に向かって縮小させること
   を特徴とする請求項１記載の表示制御装置。
3. 前記視線誘導部は、前記第１および前記第２の注視対象物を前記表示部の表示画面の対角位置に配置させること
   を特徴とする請求項１記載の表示制御装置。
4. 前記視線誘導部は、前記第１の注視対象物を表示する第１の表示画面から前記第２の注視対象物を表示する第２の表示画面へ遷移した場合に、前記第１および前記第２の注視対象物を前記第１および前記第２の表示画面で互いに対角となる位置にそれぞれ配置させること
   を特徴とする請求項１記載の表示制御装置。
5. 前記視線誘導部は、前記車両の乗員が注視していると判定された前記注視対象物を前記表示部の表示画面の予め定められた方向へ移動させること
   を特徴とする請求項１記載の表示制御装置。
6. 前記視線誘導部は、前記注視対象物を、前記表示部の表示画面の予め定められた位置へ移動させること
   を特徴とする請求項１記載の表示制御装置。
7. 前記視線誘導部は、前記表示部の表示画面に予め定められた複数の基準点のうち視線方向検出情報のキャリブレーション精度が最も悪い基準点に前記注視対象物を優先的に移動させ、かつ縮小状態とすること
   を特徴とする請求項６記載の表示制御装置。
8. 前記車両の乗員の認証を行う個人認証部を備え、
   前記キャリブレーション制御部は、前記個人認証部に認証された前記車両の乗員の個人認識情報と共にキャリブレーション制御信号を出力すること
   を特徴とする請求項１記載の表示制御装置。
9. 前記キャリブレーション制御部は、予め定めた条件に応じて前記キャリブレーション制御信号を出力すること
   を特徴とする請求項１記載の表示制御装置。
10. 前記キャリブレーション制御部は、前記車両の乗員によるスイッチ操作を受け付けたとき前記キャリブレーション制御信号として少なくともキャリブレーションデータ保存開始命令、もしくは保存停止命令を出力すること
    を特徴とする請求項９記載の表示制御装置。
11. 前記キャリブレーション制御部は、前記車両の乗員が前記注視対象物を注視していると前記視線状態判定部が判定したとき前記キャリブレーション制御信号として少なくともキャリブレーションデータ保存開始命令を出力すること
    を特徴とする請求項９記載の表示制御装置。
12. 前記キャリブレーション制御部は、前記車両の乗員による注視状態が予め定めた時間を経過したとき前記キャリブレーション制御信号として少なくともキャリブレーションデータ保存停止命令を出力すること
    を特徴とする請求項９記載の表示制御装置。
13. 前記視線誘導部は、前記視線方向検出装置のキャリブレーション精度が予め定めた閾値を超えている場合は、前記視線の誘導を解除すること
    を特徴とする請求項１記載の表示制御装置。
14. 表示部が表示する表示物を注視対象物とし、この注視対象物に基づいて視線方向検出装置のキャリブレーションを制御する表示制御装置の制御方法であって、
    視線状態判定部が、前記視線方向検出装置が検出した視線方向検出情報と前記注視対象物の表示情報とに基づいて車両の乗員がその視線方向に存在する前記注視対象物を注視しているか否かを判定し、
    視線誘導部が、前記注視対象物の表示情報および前記注視対象物の表示態様にかかる画面制御情報を出力するとともに、前記車両の乗員が前記注視対象物を注視していると判定されたとき前記注視対象物の表示態様を変化させることにより前記車両の乗員の視線を誘導し、
    表示制御部が、前記視線誘導部が出力した前記画面制御情報に基づき前記表示部を制御する表示制御情報を出力し、
    キャリブレーション制御部が、前記車両の乗員が前記注視対象物を注視していると判定されたとき前記視線方向検出装置に向けてキャリブレーション制御信号を出力し、
    前記注視対象物は、前記表示部としてのインテリジェントパネルまたはカーナビゲーション装置の前記表示部が表示するアイコン、ボタン、あるいは前記表示部としてのヘッドアップディスプレイが表示するマーキングであり、
    前記視線誘導部は、前記車両の乗員が注視していると判定された第１の注視対象物とこれに引き続き注視されるべき第２の注視対象物とを前記表示部の異なる位置に配置させ、
    前記第２の注視対象物は、前記第１の注視対象物で選択された操作を決定する決定キーであること
    を特徴とする表示制御装置の制御方法。
15. 車両の乗員の視線方向を検出する視線方向検出装置と、表示部が表示する表示物を注視対象物とし、この注視対象物に基づいて前記視線方向検出装置のキャリブレーションを制御する表示制御装置と、前記表示制御装置からの表示制御情報に基づき表示を行う表示部とを備える視線方向検出システムであって、
    前記表示制御装置は、
    前記表示部が表示する表示物を注視対象物とし、この注視対象物に基づいて前記視線方向検出装置のキャリブレーションを制御する前記表示制御装置であって、
    前記視線方向検出装置が検出した視線方向検出情報と前記注視対象物の表示情報とに基づいて前記車両の乗員がその視線方向に存在する前記注視対象物を注視しているか否かを判定する視線状態判定部と、
    前記注視対象物の表示情報および前記注視対象物の表示態様にかかる画面制御情報を出力するものであって、前記車両の乗員が前記注視対象物を注視していると判定されたとき前記注視対象物の表示態様を変化させることにより前記車両の乗員の視線を誘導する視線誘導部と、
    前記視線誘導部が出力した前記画面制御情報に基づき前記表示部を制御する表示制御情報を出力する表示制御部と、
    前記車両の乗員が前記注視対象物を注視していると判定されたとき前記視線方向検出装置に向けてキャリブレーション制御信号を出力するキャリブレーション制御部とを備え、
    前記注視対象物は、前記表示部としてのインテリジェントパネルまたはカーナビゲーション装置の前記表示部が表示するアイコン、ボタン、あるいは前記表示部としてのヘッドアップディスプレイが表示するマーキングであり、
    前記視線誘導部は、前記車両の乗員が注視していると判定された第１の注視対象物とこれに引き続き注視されるべき第２の注視対象物とを前記表示部の異なる位置に配置させ、
    前記第２の注視対象物は、前記第１の注視対象物で選択された操作を決定する決定キーであり、
    前記視線方向検出装置は、
    前記車両の乗員の視線方向検出情報を検出する視線方向検出部と、
    前記表示制御装置が出力するキャリブレーション制御信号に従って、前記視線方向検出部が検出した視線検出方向情報と前記表示制御装置から得た前記注視対象物の表示情報とに基づきキャリブレーションデータを算出するキャリブレーション部と、
    前記キャリブレーションデータを記憶する記憶部と
    を備える視線方向検出システム。
16. 前記視線方向検出装置のキャリブレーション部は、前記車両の乗員の個人認識情報とともに前記キャリブレーション制御信号を出力すること
    を特徴とする請求項１５記載の視線方向検出システム。
17. 車両の乗員の視線方向を検出する視線方向検出装置と、表示部が表示する表示物を注視対象物とし、この注視対象物に基づいて視線方向検出装置のキャリブレーションを制御する表示制御装置と、表示制御装置からの表示制御情報に基づき表示を行う表示部とを備える視線方向検出システムのキャリブレーション制御方法であって、
    前記表示部が表示する表示物を注視対象物とし、この注視対象物に基づいて視線方向検出装置のキャリブレーションを制御する方法であって、
    視線状態判定部が、前記視線方向検出装置が検出した視線方向検出情報と前記注視対象物の表示情報とに基づいて前記車両の乗員がその視線方向に存在する前記注視対象物を注視しているか否かを判定し、
    視線誘導部が、前記注視対象物の表示情報および前記注視対象物の表示態様にかかる画面制御情報を出力するとともに、前記車両の乗員が前記注視対象物を注視していると判定されたとき前記注視対象物の表示態様を変化させることにより前記車両の乗員の視線を誘導し、
    表示制御部が、前記視線誘導部が出力した前記画面制御情報に基づき前記表示部を制御する表示制御情報を出力し、
    キャリブレーション制御部が、前記車両の乗員が前記注視対象物を注視していると判定されたとき前記視線方向検出装置に向けてキャリブレーション制御信号を出力し、
    視線方向検出部が前記車両の乗員の視線方向検出情報を検出し、
    キャリブレーション部が、前記表示制御装置が出力するキャリブレーション制御信号に従って、前記視線方向検出部が検出した視線検出方向情報と前記表示制御装置から得た前記注視対象物の表示情報とに基づきキャリブレーションデータを算出し、
    記憶部が前記キャリブレーションデータを記憶し、
    前記注視対象物は、前記表示部としてのインテリジェントパネルまたはカーナビゲーション装置の前記表示部が表示するアイコン、ボタン、あるいは前記表示部としてのヘッドアップディスプレイが表示するマーキングであり、
    前記視線誘導部は、前記車両の乗員が注視していると判定された第１の注視対象物とこれに引き続き注視されるべき第２の注視対象物とを前記表示部の異なる位置に配置させ、
    前記第２の注視対象物は、前記第１の注視対象物で選択された操作を決定する決定キーであること
    を特徴とする視線方向検出システムのキャリブレーション制御方法。

Images