JPH09238905A

JPH09238905A - 視線方向計測装置

Info

Publication number: JPH09238905A
Application number: JP8047618A
Authority: JP
Inventors: Takuo Ishiwaka; 卓夫石若; Kazunori Noso; 千典農宗
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1996-03-05
Filing date: 1996-03-05
Publication date: 1997-09-16
Anticipated expiration: 2016-03-05
Also published as: JP3785669B2

Abstract

(57)【要約】【課題】計測対象者の視線方向に基づいて自動的に補正
係数を更新し、眼球位置が移動する計測対象者の視線方
向を正確に計測できる視線方向計測装置を提供する。【解決手段】計測対象者の視線方向は、眼球位置検出手
段Ａで検出された眼球位置及び眼球回転角検出手段Ｂで
検出された眼球回転角に基づいて、視線方向算出手段Ｄ
で補正係数記憶手段Ｃに記憶された補正係数を考慮して
算出される。また、補正係数は、算出された視線方向に
基づく視線情報によって予め設定した注視対象を計測対
象者が注視したと判断される場合に、補正係数更新手段
Ｅにおいて自動的に算出され更新される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、遠隔から視線の方
向を計測する装置に関し、特に、計測対象者に応じた補
正係数を自動的に算出する視線方向計測装置に関する。

【０００２】

【従来の技術】視線方向計測装置は、ヒューマン・マシ
ンインタフェイスとして、計測した視線方向を用いて例
えば車両運転者の注目している方向に視覚情報を表示さ
せたり、視線方向に応じて特定のスイッチを動作させる
等、種々の利用が期待されている。一般にこのような視
線方向計測装置で計測される視線方向は、計測対象者の
個人差に起因する計測誤差を伴う。このため従来の視線
方向計測装置では、計測誤差を補正する動作、所謂キャ
リブレーション動作を行って補正係数を算出し、この補
正係数を考慮して視線方向の計測を行うことにより計測
誤差の影響を少なくしている。しかし、キャリブレーシ
ョン動作は装置の使用者（計測対象者）に煩わしい操作
を強要することが多く、使用者に意識させずにキャリブ
レーション動作を完了することが望まれている。

【０００３】使用者に意識させずにキャリブレーション
動作を完了するようにした従来の技術としては、例え
ば、特開平7-151958号公報等で開示されたものがある。
この従来の装置では、使用者が装置の操作を行う場合
に、特定の操作はその操作に応じた表示を見ながら行わ
れると仮定して、特定の操作が行われるときの視線方向
を計測し、この計測した視線の方向がその操作に応じた
表示の方向と一致するとして補正係数を求めるものであ
る。

【０００４】

【発明が解決しようとする課題】このような従来の装置
では、使用者の眼球は所定の位置に固定されるものとし
て視線方向が計測される。図20は眼球位置が固定される
場合の視線方向を示す。図20に示すように、眼球位置が
固定される場合には眼球回転角で一意に視線方向を決め
ることができる。しかし、例えば、車両に従来の視線方
向計測装置を搭載して運転者の視線を検出するような時
には、運転者の眼球位置が移動する。図21は自由空間内
で眼球位置が移動する場合の視線方向を示す。図21に示
すように、眼球位置が移動する場合には眼球回転角のみ
では視線方向を一意に決めることができない。従って、
眼球位置が移動する状況では、従来の装置を使用して正
確な補正係数を求めることが困難であるため視線方法を
正確に計測することができないという問題がある。

【０００５】また、計測される視線が必ずしも特定の操
作をする者の視線であるとは限らない場合もしばしば存
在する。例えば、上記の例のように車両運転者の視線方
向を計測するような場合において、車両内には運転席と
助手席とに乗員がいて、助手席の乗員が特定の機器を操
作する時、運転者はその特定の機器とは別の対象を注視
していたとする。このような場合、従来の装置では、運
転者の注視している対象の方向と特定の機器あるいはそ
の機器の表示部分の方向とが一致するものとして補正係
数を求めてしまうという問題がある。

【０００６】更に、従来の装置では、使用者によって特
定の操作がなされてはじめてキャリブレーション動作が
行われるため、使用者が特定の操作を行うまでの間は誤
差が補正されないという問題がある。上記車両運転者の
視線を検出する場合には、運転者が特定の機器を操作を
殆ど行わないような状況も少なからず存在することを考
慮する必要がある。例えば、延々と直線路が連続する道
路等では、一度車両の運転を開始すれば運転者はステア
リングホイールとアクセルペダルしか操作しないような
状況も考えられ、このような状況においても計測誤差の
補正が行われ正確な視線方向が計測される必要がある。

【０００７】本発明は上記問題点に着目してなされたも
ので、計測対象者によって特定の操作が行われた時に自
動的に補正係数を算出して、眼球位置が移動する計測対
象者の視線方向を正確に計測できる視線方向計測装置を
提供することを目的とする。また、計測対象者によって
特定の操作が行われることがなくても計測対象者の注視
対象を判断して自動的に補正係数を算出できる視線方向
計測装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】このため本発明のうちの
請求項１に記載の発明では、図１に示すように計測対象
者に応じて計測誤差を補正する補正係数を算出し、該補
正係数を用いて前記計測対象者の視線方向を計測する視
線方向計測装置において、前記計測対象者の眼球の位置
を検出する眼球位置検出手段Ａと、前記眼球の回転角を
検出する眼球回転角検出手段Ｂと、前記補正係数を記憶
する補正係数記憶手段Ｃと、該補正係数記憶手段Ｃに記
憶された補正係数を用い前記眼球位置及び前記眼球回転
角に基づいて前記計測対象者の視線方向を算出する視線
方向算出手段Ｄと、該視線方向算出手段Ｄで算出された
視線方向に基づく視線情報によって予め設定した注視対
象を前記計測対象者が注視したと判断される場合に、前
記視線情報及び前記注視対象の位置に基づいて新たな補
正係数を算出し、前記補正係数記憶手段Ｃに記憶された
補正係数を更新する補正係数更新手段Ｅと、を備えて構
成されたことを特徴とする。

【０００９】かかる構成によれば、眼球位置検出手段Ａ
及び眼球回転角検出手段Ｂで検出された眼球位置及び眼
球回転角に基づいて、視線方向算出手段Ｄで計測対象者
の視線方向が補正係数を考慮して算出されると共に、補
正係数更新手段Ｅにおいて、算出された視線方向に基づ
く視線情報によって予め設定した注視対象を計測対象者
が注視したと判断される場合、即ち、計測対象者が注視
対象を注視した時や計測対象者の視線情報によって注視
対象の位置が推定できる場合等に、補正係数記憶手段Ｃ
に記憶された補正係数が更新されるようになる。

【００１０】また、請求項２に記載の発明では、請求項
１に記載の発明において、図１に示すように前記補正係
数更新手段Ｅが、前記注視対象として予め設定した機器
の操作が検出されると操作信号を出力する第１の操作検
出部Ｅ１と、前記機器の位置を予め記憶する機器位置記
憶部Ｅ２と、前記第１の操作検出部Ｅ１から操作信号が
出力された時、前記機器位置記憶部Ｅ２に記憶された当
該機器の位置を基に算出される機器方向と前記視線方向
算出手段Ｄで算出された視線方向とのずれ量を求め、該
ずれ量が予め設定した閾値未満の時には前記補正係数記
憶手段Ｃに記憶された補正係数の更新を行う判定をする
補正係数更新判定部Ｅ３と、該補正係数更新判定部Ｅ３
で更新を行う判定がなされると前記ずれ量を補正する新
たな補正係数を算出し、前記補正係数記憶手段Ｃに記憶
された補正係数の更新を行う第１の補正係数算出部Ｅ４
とを備えて構成されたことを特徴とする。

【００１１】かかる構成によれば、第１の操作検出部Ｅ
１から操作信号が出力された時に、補正係数更新判定部
Ｅ３において視線方向と機器方向とのずれ量が閾値未満
と判定された場合、即ち、予め設定した機器を計測対象
者が注視した時に、第１の補正係数算出部Ｅ４で補正係
数記憶手段Ｃに記憶された補正係数の更新が行われるよ
うになる。

【００１２】また、請求項３に記載の発明では、請求項
１に記載の発明において、図２に示すように前記補正係
数更新手段Ｅが、前記注視対象の位置を予め記憶する注
視対象位置記憶部Ｅ５と、所定の計測回数間に前記視線
方向算出手段Ｄで算出された複数の視線方向の分布状態
及び変化状態に基づいて前記注視対象の位置を推定する
注視対象推定部Ｅ６と、該注視対象推定部Ｅ６で推定さ
れた前記注視対象の位置と前記注視対象位置記憶部Ｅ５
に記憶された前記注視対象の位置との差異に応じて補正
係数を算出し、前記補正係数記憶手段Ｃに記憶された補
正係数の更新を行う第２の補正係数算出部Ｅ７とを備え
て構成されたことを特徴とする。

【００１３】かかる構成によれば、注視対象推定部Ｅ６
において複数の視線方向の分布状態及び変化状態に基づ
いて注視対象の位置が推定され、該注視対象の推定位置
と注視対象位置記憶部Ｅ５に記憶された注視対象の位置
との差異に応じて第２の補正係数算出部Ｅ７で補正係数
記憶手段Ｃに記憶された補正係数の更新が行われるよう
になる。

【００１４】また、請求項４に記載の発明では、請求項
３に記載の発明において、図３に示すように前記補正係
数更新手段Ｅが、前記注視対象に関連して予め設定した
機器の操作が検出されると操作信号を出力する第２の操
作検出部Ｅ８を備え、前記注視対象推定部Ｅ６が前記第
２の操作検出部Ｅ８からの操作信号に応じて前記注視対
象の位置を推定する構成としたことを特徴とする。

【００１５】かかる構成によれば、請求項３に記載の発
明における補正係数の更新が、第２の操作検出部Ｅ８か
らの操作信号に応じて注視対象推定部Ｅ６で推定された
注視対象の位置を基にして行われるようになる。また、
請求項５に記載の発明では、計測対象者に応じて計測誤
差を補正する補正係数を算出し、該補正係数を用いて前
記計測対象者の視線方向を計測する視線方向計測装置に
おいて、前記計測対象者の眼球位置及び眼球回転角を検
出し、前記補正係数を用い検出した前記眼球位置及び前
記眼球回転角に基づいて前記計測対象者の視線方向を算
出すると共に、該算出した視線方向に基づく視線情報に
よって予め設定した注視対象を前記計測対象者が注視し
たと判断される場合に、前記視線情報及び前記注視対象
の位置に基づいて前記補正係数を更新する構成としたこ
とを特徴とする。

【００１６】

【発明の効果】このように、本発明のうちの請求項１又
は２に記載の発明は、補正係数を更新する際に、補正係
数更新手段において、視線方向算出手段で算出された視
線方向に基づく視線情報及び注視対象の位置に関する情
報、具体的に請求項２に記載の発明では、計測対象者が
予め設定した機器を操作した時の視線方向及びその機器
方向から、計測対象者が注視対象（機器）を注視したこ
とを計測対象者に意識されることなく自動的に判断する
ことによって、正確に且つ確実に補正係数の更新を行う
ことができるため、誤差の少ない正確な視線計測が可能
となる。また、眼球位置検出手段で眼球位置を計測する
ことによって、計測対象者の眼球位置が移動しても視線
方向を一意に決めることができる。

【００１７】また、請求項３に記載の発明は、注視対象
判定部において、視線方向算出手段で算出された視線方
向の分布状態及び変化状態に基づい注視対象の位置を推
定することによって機器の操作が行われなくても、請求
項１又は２に記載の発明の効果と同様に、正確に且つ確
実に補正係数の更新を行うことができるため、眼球位置
の移動する計測対象者の視線方向を少ない誤差で正確に
計測することができる。

【００１８】また、請求項４に記載の発明は、請求項３
に記載の発明の効果に加えて、注視対象判定部におい
て、注視対象に関連する機器の操作情報を考慮して注視
対象を位置を推定することによって、注視対象の推定位
置がより確実になり精度の高い補正係数の算出が可能と
なる。

【００１９】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。本発明の第１の実施形態では、車両
に視線方向計測装置を搭載し、特定の機器が運転者によ
って操作されると補正係数を自動的に算出し、その補正
係数を用いて計測された運転者の視線方向を基に、例え
ば、オーディオ、エアコン、ラジオ及びＡＳＣＤの視線
によるオン・オフの切り替えを行う場合について説明す
る。

【００２０】図４は、第１の実施形態の視線方向計測装
置の構成を示す図である。図４において、本装置は、計
測対象者としての運転者の眼球部に光を照射し、該眼球
部を撮影した画像を記憶する眼球撮影部10と、後述する
特定の機器が操作されると操作信号を出力する第１の操
作検出部Ｅ１としての操作検出部20と、オーディオ、エ
アコン、ラジオ及びＡＳＣＤの動作を制御するコントロ
ーラ部30と、オーディオ、エアコン、ラジオ及びＡＳＣ
Ｄの動作状態を表示する表示部40と、眼球撮影部10で得
た画像及び操作信号検出部20の出力信号を基に運転者の
視線方向を演算してコントローラ部30及び表示部40に制
御信号を出力するマイクロコンピュータ50と、マイクロ
コンピュータ50の演算結果及び前記特定の機器の位置等
を記憶するメモリ部70とで構成される。

【００２１】眼球撮影部10は、運転者の面前で眼球部に
向けて設けられた２つの発散照明11,12 と、運転者の眼
球部を撮影する２つのカメラ13,14 と、カメラ13,14 で
撮影された画像を A/D変換する A/D変換器15と、A/D 変
換器15で変換された画像を記憶する画像メモリ16と、発
散照明11,12 及び A/D変換器15を制御する照明発光制御
部17とで構成される。発散照明11,12 は、例えば、人間
には不可視の赤外光を発光し、運転席付近のレイアウト
の一例を示す図５の（ａ）に示すように、相対的に異な
る所定の位置、例えばステアリングホイールの両側方等
にそれぞれ設置され、照明発光制御部17に接続される。
カメラ13,14 は、例えば、撮像素子にＣＣＤを備え、図
５の（ａ）に示すように、カメラ13と発散照明11とが共
軸系に配置され、同様にカメラ14と発散照明12とが共軸
系に配置される。照明発光制御部17は、発散照明11,12
を交互に点灯させる制御信号を発散照明11,12 に出力す
ると共に、発散照明11が点灯したときにカメラ13から画
像を取り込み、発散照明12が点灯したときにカメラ14か
ら画像を取り込むように A/D変換器15を制御する信号を
出力する。画像メモリ16は、 A/D変換器15で A/D変換さ
れたカメラ13,14 からの各画像を記憶する。

【００２２】操作検出部20は、乗員によって機器操作が
行われるとキャリブレーション動作を開始する特定の機
器として、例えば、右サイドミラー、左サイドミラー及
びナビゲーション装置を設定した場合において、右サイ
ドミラー操作検出部21と、左サイドミラー操作検出部22
と、ナビゲーション装置操作検出部23とで構成される。
これらの機器に設定する理由は、左右サイドミラーで
は、運転者が交代した場合に殆どの運転者が位置確認を
行うので、この機会を捉えキャリブレーション動作を行
えば走行開始前には正確な補正係数が算出できるためで
ある。また、ナビゲーション装置では、走行開始後であ
っても操作が行われることがあり、この機会を捉えて補
正係数を算出し更新を行えるようにするためである。右
サイドミラー操作検出部21及び左サイドミラー操作検出
部22は、各々のサイドミラーの角度を調節するスイッチ
が操作された時に操作信号をマイクロコンピュータ50に
出力する。ナビゲーション装置操作検出部23は、ナビゲ
ーション装置が操作された時に操作信号をマイクロコン
ピュータ50に出力する。

【００２３】コントローラ部30は、オーディオコントロ
ーラ31と、エアコンコントローラ32と、ラジオコントロ
ーラ33と、ＡＳＣＤコントローラ34と、各コントローラ
31〜34のオン・オフを切り替えるコントローラ切り替え
部35とで構成される。コントローラ切り替え部35は、後
述するように運転者の視線に応じてマイクロコンピュー
タ50から出力される制御信号を入力し、入力した制御信
号に対応するコントローラのオン・オフを切り替える信
号を出力する。

【００２４】表示部40は、ヘッドアップディスプレイ
（以下、ＨＵＤとする）41と、ＨＵＤ41の表示を制御す
る表示制御部42とで構成される。ＨＵＤ41は、上記図５
の（ａ）に示すように運転席付近に設けられ、図５の
（ｂ）に示すように、オーディオ、エアコン、ラジオ及
びＡＳＣＤそれぞれのオン・オフを視線によってスイッ
チするための視線スイッチエリアＡｓを表示し、各々の
機器がスイッチされると表示が短時間反転される。表示
制御部42は、マイクロコンピュータ50より出力される制
御信号を入力し、入力した信号に対応するＨＵＤ41の表
示を切り替える信号を出力する。

【００２５】マイクロコンピュータ50は、眼球撮影部10
で撮影し記憶した画像に基づいて運転者の眼球位置を演
算する機能と、運転者の眼球回転角を演算する機能と、
操作検出部20の出力に応じて後述する補正係数の更新を
行うか否を判定する機能と、補正係数を算出する機能
と、眼球位置及び眼球回転角を用い補正係数を考慮して
運転者の視線方向を算出し注視対象を判定する機能と、
運転者の視線の停留時間を判断しコントローラ部30及び
表示部40を制御する信号を生成する機能とを有する。

【００２６】ここで、マイクロコンピュータ50の各機能
について図６に示す機能ブロック図を参照しながら詳細
に説明する。図６において、角膜反射像抽出部51は、眼
球撮影部10の画像メモリ16に接続され、カメラ13で撮影
し画像メモリ16に記憶された画像Ｇ１及びカメラ14で撮
影し画像メモリ16に記憶された画像Ｇ２をそれぞれ読み
込み、画像処理して各画像中の角膜反射像を抽出する。
角膜反射像とは、眼球への照射光が眼球を構成する角膜
等の光学系の各面で反射、屈折することによって生じる
像であり、プルキンエ像とも呼ばれるものである。ここ
では、画像Ｇ１より抽出された発散照明11の角膜反射像
の画像中の座標Ｐ１を（Ｐ１ｘ, Ｐ１ｙ）とし、また、
画像Ｇ２より抽出された発散照明12の角膜反射像の画像
中の座標Ｐ２を（Ｐ２ｘ，Ｐ２ｙ）とする。

【００２７】角膜反射直線算出部52は、角膜反射像抽出
部51により抽出された角膜反射像の各座標Ｐ１, Ｐ２を
用いて、角膜反射像とその角膜反射像に対応するカメラ
焦点とを結ぶ直線をそれぞれ求める。この直線は、角膜
反射像の画像中の座標Ｐ１,Ｐ２が算出されるとその角
膜反射像を撮影したカメラのＣＣＤ及びカメラレンズ焦
点の位置関係から一意に算出できる。角膜反射像の座標
Ｐ１とカメラ13の焦点とを結ぶ直線をＬ１とし、また、
角膜反射像の座標Ｐ２とカメラ14の焦点とを結ぶ直線を
Ｌ２とする。

【００２８】眼球中心算出部53は、角膜反射直線算出部
52で求められた直線Ｌ１，Ｌ２の交点を算出することに
より、眼球中心（正確には角膜球中心）Ｏの位置を算出
する。ここでは、発散照明11とカメラ13とが共軸系に配
置されているため直線Ｌ１は必ず眼球中心Ｏを通過し、
また、発散照明12とカメラ14とが共軸系に配置されてい
るため直線Ｌ２も必ず眼球中心Ｏを通過するので、直線
Ｌ１，Ｌ２の交点が眼球中心Ｏとなる。算出した眼球中
心Ｏの３次元空間における座標を（Ｏｘ，Ｏｙ，Ｏｚ）
とする。

【００２９】このようにして、角膜反射像抽出部51、角
膜反射直線算出部52及び眼球中心算出部53が眼球位置演
算手段Ａとして機能する。瞳孔中心算出部54は、画像メ
モリ16に記憶された画像Ｇ１を画像処理して瞳孔部分を
抽出し、瞳孔部分の中心（重心）の画像中の座標を求め
る。画像Ｇ１から求めた画像中の瞳孔中心座標をＱ１
（Ｑｘ，Ｑｙ）とする。

【００３０】眼球回転角算出部55は、角膜反射像抽出部
51で求めた角膜反射像の座標Ｐ１（Ｐ１ｘ，Ｐ１ｙ）と
瞳孔中心算出部54で求めた瞳孔中心座標Ｑ１（Ｑｘ，Ｑ
ｙ）とから、カメラ13の撮影方向（発散照明11とカメラ
13との共軸方向）に対する眼球の回転角θ’を算出す
る。この眼球回転角の算出方法の詳細は、例えば、上述
の特開平7-151958号公報等で公知であり、ここではその
概略のみを説明する。

【００３１】一般に眼球の回転角θ’は、角膜球中心か
ら瞳孔中心までの標準的な距離をＬocとし、距離Ｌocに
対する個人差を考慮する補正係数をＡ１とし、カメラの
レンズ系に対する角膜球中心の位置関係により決まる補
正係数（倍率）をβとすると、次の（１）式の関係を満
たす。 β×Ａ１×Ｌoc× sinθ' ＝Ｑ１−Ｐ１（１）従って、眼球の回転角θ’は、次の（２）式により求め
られる。

【００３２】 θ’＝ARCSIN｛（Ｑ１−Ｐ１）／（β×Ａ１×Ｌoc）｝（２）本実施形態の眼球回転角算出部55では、画像Ｇ１内の水
平方向（ｘ軸方向）に対する回転角θｘ’及び垂直方向
（ｙ軸方向）に対する回転角θｙ’が算出される。尚、
補正係数Ａ１は、後述するようにメモリ部70の補正係数
記憶部72に記憶された値が用いられる。

【００３３】このようにして、瞳孔中心算出部54及び眼
球回転角算出部55が眼球回転角検出手段Ｂとして機能す
る。尚、ここでは画像Ｇ１から瞳孔中心を求め眼球回転
角を算出する構成としたが、勿論、画像Ｇ２から眼球回
転角を算出しても良く、あるいは、画像Ｇ１，Ｇ２より
それぞれ瞳孔中心、眼球回転角を求め平均化しても良
い。

【００３４】視線方向算出部56は、眼球回転角算出部55
で求めた眼球回転角θ’と眼球中心算出部53で求めた眼
球中心Ｏとから視線方向ｅを算出する。ここでは、視線
方向ｅを直線の方程式として表すものとする。ただし、
前述の特開平7-151958号公報等にも記載されているよう
に、多くの場合、眼球の視軸（視線方向ｅ）と光軸（眼
球の回転角θ’方向）は一致しないため、光軸が算出さ
れると光軸と視軸との角度補正をすることにより視軸が
求められる。ここでは、光軸の角度補正係数をδとし、
角度補正係数δに対する個人差を考慮する補正係数をＢ
１とすると、視軸の回転角θは次の（３）式となる。

【００３５】 θ＝θ’±（Ｂ１×δ）（３）ここで符号±は、運転者に関して右への回転角を正とす
ると、カメラ13の撮影する運転者の目が左目の場合は
＋、右目の場合は−の符号が選択される。実際に視線方
向算出部56では、水平方向の補正係数をＢ１ｘ、垂直方
向の補正係数をＢ１ｙとして、画像Ｇ１内の水平方向
（ｘ軸方向）に対する視軸の回転角θｘ、及び垂直方向
（ｙ軸方向）に対する視軸の回転角θｙが算出される。
尚、補正係数Ｂ１ｘ，Ｂ１ｙはメモリ部70の補正係数記
憶部72に記憶された値が用いられる。

【００３６】そして、算出された視軸の回転角θｘ，θ
ｙを用いて極座標系で表される視線方向ｅを直交座標系
に変換することにより、視線方向ｅの方向ベクトル（Ｅ
ｘ，Ｅｙ，Ｅｚ）を算出すると、視線方向ｅは、眼球中
心Ｏを始点とし方向ベクトル（Ｅｘ，Ｅｙ，Ｅｚ）を用
いて次の（４）式で表される直線Ｌ３となる。（Ｘ−Ｏｘ)/Ｅｘ＝（Ｙ−Ｏｙ)/Ｅｙ＝（Ｚ−Ｏｚ)/Ｅｚ（４）注視対象判定部57は、後述するメモリ部70の機器位置記
憶部71に予め記憶された車両内の特徴的な箇所の座標、
具体的には、ＨＵＤ41の各視線スイッチエリアＡｓの中
心位置の座標を基に、視線方向算出部56で求めた視線方
向ｅを用いて運転者の注視対象を判定する。この注視対
象の判定は、視線方向ｅに最も近い視線スイッチエリア
Ａｓの中心位置方向について、機器位置記憶部71に記憶
された前記視線スイッチエリアＡｓの中心位置の座標と
眼球中心Ｏとを通る直線Ｌ４の方程式を求め、この直線
Ｌ４と視線方向算出部56で求めた直線Ｌ３との交差角φ
１を求める。そして、交差角φ１が予め設定した閾値Ｔ
ｈ１未満の時には、運転者が前記視線スイッチエリアＡ
ｓを見ていると判定し、交差角φ１が閾値Ｔｈ１以上の
時には、運転者が他の箇所を見ていると判断する。直線
Ｌ３と直線Ｌ４との交差角φ１の算出は、例えば、直線
Ｌ３の方向ベクトルと直線Ｌ４の方向ベクトルとの内積
をとるこによって求められる。

【００３７】このように、視線方向算出部56及び注視対
象判定部57が視線方向算出手段Ｄとして機能する。検出
誤差算出部58は、操作検出部20から操作信号が送出され
た場合に、その操作信号に対応する機器についてメモリ
部70の機器位置記憶部71に予め記憶させた位置情報を読
み込み、操作信号が送出された時点での眼球中心Ｏと操
作信号に対応する機器とを通る直線Ｌ５の方程式を算出
する。例えば、右サイドミラーの調整操作が行われ右サ
イドミラー操作検出部21よりマイクロコンピュータ50に
操作信号が送出されると、機器位置記憶部71に記憶され
た右サイドミラーの中心位置を読み込んで、眼球中心Ｏ
と右サイドミラーの中心位置とを通る直線Ｌ５の方程式
を求める。そして、その操作信号が送出された時に視線
方向算出部56で求められた視線方向ｅを表す直線Ｌ３と
直線Ｌ５との交差角φ２を算出する。尚、左サイドミラ
ー操作検出部22あるいはナビゲーション装置操作検出部
23から操作信号が送出される場合も、右サイドミラー操
作検出部22から操作信号が送出される場合と同様の演算
処理が行われる。ただし、ナビゲーション装置の場合、
操作スイッチの中心位置が機器位置記憶部71より読み込
まれる。

【００３８】更新判定部59は、検出誤差算出部58で求め
た交差角φ２と予め設定した閾値Ｔｈ２とを比較する。
交差角φ２が閾値Ｔｈ２未満の場合には、後述する新た
な補正係数を算出し補正係数の更新を行う判定をし、交
差角φ２が閾値Ｔｈ２以上の場合には、補正係数の更新
を行わない判定をする。ここで、閾値Ｔｈ２の設定につ
いて説明する。

【００３９】補正係数の更新を判定する際、操作検出部
20から出力された操作信号だけではその操作が運転者に
よるものか、あるいはその他の乗員によるものかの区別
がつかない。運転者に応じた補正係数を求めるために
は、運転者による操作のみに限定する必要がある。運転
者によって操作が行われる時、運転者の視線は操作する
機器の方向を向き、他の乗員によって操作が行われる
時、運転者の視線は該当する機器の方向とは異なる方向
を向くものと考えられる。そこで、操作信号の出力され
た時点での視線方向算出部56で算出された運転者の視線
方向ｅが操作された機器の方向に略一致する、即ち、交
差角φ２が十分に小さい時に、運転者によって操作が行
われたものと判断する。

【００４０】ただし、視線方向算出部56で求められた視
線方向ｅは、操作検出部20から操作信号が出力される以
前の補正係数（装置始動時には補正係数の初期設定値）
を考慮して算出したものであるため誤差を含む可能性が
ある。一般に、補正係数が正確でない場合の視線方向ｅ
の計測誤差は数度程度と考えられる。そこで、例えば、
補正係数の初期設定値には大多数の乗員から求めた補正
係数の平均値を使用する等して、運転者の視線方向ｅを
求めれば、その視線方向ｅは数度程度の誤差精度で算出
されることになる。従って、例えば、閾値Ｔｈ２を10°
程度に設定し、交差角φ２と閾値Ｔｈ２とを比較するこ
とによって、運転者が機器操作を行ったか否かを十分に
判定することが可能となる。

【００４１】このようにして、検出誤差算出部58及び更
新判定部59が補正係数更新判定部Ｅ３として機能する。
第１の補正係数算出部Ｅ４としての補正係数算出部60
は、更新判定部59で補正係数の更新が判定された場合に
新たな補正係数を算出する。この補正係数は、例えば、
右サイドミラー操作検出部21より操作信号が送出され、
検出誤差算出部58で求めた交差角φ２が更新判定部59で
閾値Ｔｈ２未満と判定された時には、運転者は右サイド
ミラーの中心を見ているものとして、運転者の視線方向
ｅ（直線Ｌ３）を直線Ｌ５に一致させる新たな補正係数
Ａ１，Ｂ１ｘ，Ｂ１ｙを算出する。尚、左サイドミラー
あるいはナビゲーション装置についても右サイドミラー
と同様にして補正係数を算出する。

【００４２】停留判断部61は、運転者の視線が１つの視
線スイッチエリアＡｓに停留している時間を計測し、計
測した停留時間が所定の時間Ｔｈ３を越えるとコントロ
ーラ部30及び表示部40を制御する信号を生成する。前述
のメモリ部70は、機器位置記憶部Ｅ２としての機器位置
記憶部71に、右サイドミラー及び左サイドミラーの中心
位置、ナビゲーション装置のスイッチ位置、ＨＵＤ41の
各視線スイッチエリアＡｓの中心位置等が予め記憶され
ると共に、補正係数記憶手段Ｃとしての補正係数記憶部
72にマイクロコンピュータ50で算出された補正係数Ａ
１，Ｂ１ｘ，Ｂ１ｙが記憶される。

【００４３】次に、第１の実施形態の動作について、例
えば、運転者が視線スイッチエリアＡｓのエアコンに対
応する部分を注視してエアコンのオン・オフを切り替え
る場合の視線スイッチ動作及び補正係数の更新動作を図
７及び図８に示すフローチャートに基づいて説明する。
まず、視線スイッチ動作について説明する。

【００４４】図７において、運転者がエアコンの操作を
したいと考え、ＨＵＤ41の各視線スイッチエリアＡｓの
うちのエアコン領域（図５の（ｂ）中のＡ／Ｃ領域）を
注視した状態で、視線方向の計測が開始されると、ステ
ップ101 （図中、Ｓ101 で示し、以下同様とする）で
は、マイクロコンピュータ50の停留判断部61で計測され
るタイムカウンタｔの値が初期化される。タイムカウン
タｔは運転者の視線が注視対象に停留している時間を計
測するカウンタである。

【００４５】ステップ102 では、照明発光制御部17から
の信号により発散照明11が点灯される。ステップ103 で
は、カメラ13で撮影された運転者の眼球の画像Ｇ１が、
A/D変換器15を介して画像メモリ16に記憶される。ステ
ップ104 では、照明発光制御部17からの信号により発散
照明11が消灯される。

【００４６】ステップ105 では、マイクロコンピュータ
50の角膜反射像抽出部51において、画像メモリ16に記憶
された画像Ｇ１が読み込まれ角膜反射像の座標Ｐ１が抽
出される。この座標Ｐ１は画像上の２次元の座標であ
る。ステップ106 では、ステップ105 で角膜反射像の座
標Ｐ１が抽出されたか否かが判別される。座標Ｐ１が抽
出されない場合には、ステップ101 に戻り、座標Ｐ１が
抽出された場合には、ステップ107 に進む。

【００４７】ステップ107 では、角膜反射直線算出部52
において、直線Ｌ１が算出される。ステップ108 では、
照明発光制御部17からの信号により発散照明12が点灯さ
れる。ステップ109 では、カメラ14で撮影された運転者
の眼球の画像Ｇ２が、 A/D変換器15を介して画像メモリ
16に記憶される。

【００４８】ステップ110 では、照明発光制御部17から
の信号により発散照明12が消灯される。ステップ111 で
は、角膜反射像抽出部51において、画像メモリ16に記憶
された画像Ｇ２が読み込まれ角膜反射像の座標Ｐ２が抽
出される。この座標Ｐ２は画像上の２次元の座標であ
る。

【００４９】ステップ112 では、ステップ111 で角膜反
射像の座標Ｐ２が抽出されたか否かが判別される。座標
Ｐ２が抽出されない場合には、ステップ101 に戻り、座
標Ｐ２が抽出された場合には、ステップ113 に進む。ス
テップ113 では、角膜反射直線算出部52において、直線
Ｌ２が算出される。ステップ114 では、眼球中心算出部
53において、直線Ｌ１，Ｌ２の交点、即ち、眼球中心Ｏ
の座標が算出される。眼球中心Ｏは、３次元空間中の座
標である。

【００５０】ステップ115 では、瞳孔中心算出部54にお
いて、画像Ｇ１より瞳孔中心の座標Ｑ１が算出される。
この座標Ｑ１は画像上の２次元の座標である。ステップ
116 では、眼球回転角算出部55において、ステップ105
で求めた角膜反射像の座標Ｐ１とステップ115 で求めた
瞳孔中心の座標Ｑ１とから、メモリ部70の補正係数記憶
部72に記憶された補正係数Ａ１を考慮して眼球回転角θ
ｘ’，θｙ’が算出される。

【００５１】ステップ117 では、視線方向算出部56にお
いて、ステップ116 で求めた眼球回転角θｘ’，θｙ’
とステップ114 で求めた眼球中心Ｏとから、補正係数記
憶部72に記憶された補正係数Ｂ１ｘ，Ｂ１ｙを考慮して
視軸の回転角θｘ、θｙが算出される。ステップ118 で
は、ステップ117 で求めた視軸の回転角θｘ、θｙより
視線方向ｅを表す直線Ｌ３の方程式が算出される。

【００５２】ステップ119 では、マイクロコンピュータ
50において右サイドミラー操作検出部21からの操作信号
の有無が調べられる。操作信号がマイクロコンピュータ
50に送信されている場合には、図８に示すステップ128
に進み、後述する補正係数の更新判断処理が行われる。
操作信号が送信されていない場合には、ステップ120に
進む。

【００５３】ステップ120 では、左サイドミラー操作検
出部22からの操作信号の有無が調べられる。操作信号が
マイクロコンピュータ50に送信されている場合には、図
８に示すステップ129 に進み、補正係数の更新判断処理
が行われる。操作信号が送信されていない場合には、ス
テップ121 に進む。ステップ121 では、ナビゲーション
装置操作検出部23からの操作信号の有無が調べられる。
操作信号がマイクロコンピュータ50に送信されている場
合には、図８に示すステップ130 に進み、補正係数の更
新判断処理が行われる。操作信号が送信されていない場
合には、ステップ122 に進む。

【００５４】ステップ122 では、注視対象判定部57にお
いて、視線方向ｅに最も近い視線スイッチエリアＡｓ
（ここではエアコン領域）の中心位置と眼球中心Ｏとを
通る直線Ｌ４の方程式が算出される。ステップ123 で
は、ステップ118 で求めた直線Ｌ３とステップ122 で求
めた直線Ｌ４との交差角φ１が算出される。

【００５５】ステップ124 では、ステップ123 で求めた
交差角φ１と閾値Ｔｈ１との比較が行われる。交差角φ
１が閾値Ｔｈ１未満の時は、ステップ125 へ進み、交差
角φ１が閾値Ｔｈ１以上の時は、ステップ101 に戻り新
規に処理を開始する。ステップ125 では、ステップ124
で運転者の注視状態、ここでは運転者が視線スイッチエ
リアＡｓのエアコン領域を注視している状態が判断され
ると、停留判断部61でタイムカウンタｔの値がインクリ
メントされる。

【００５６】ステップ126 では、タイムカウンタｔの値
と所定の時間Ｔｈ３との比較が行われる。タイムカウン
タｔの値が時間Ｔｈ３未満の時は、ステップ102 に戻り
停留時間の計測を継続する。タイムカウンタｔの値が時
間Ｔｈ３以上の時は、ステップ127 に進む。ステップ12
7 では、ステップ126 で運転者の視線が視線スイッチエ
リアＡｓのエアコン領域に所定の時間Ｔｈ３以上停留し
ていることが判断されると、マイクロコンピュータ50よ
り、エアコンコントローラ32を選択しエアコンスイッチ
のオン・オフを切り替える制御信号がコントローラ切り
替え部35に出力されると共に、ＨＵＤ41のエアコン領域
の表示を短時間反転させる制御信号が表示制御部42に出
力される。

【００５７】このようにして視線によるエアコンのスイ
ッチの切り替えが行われ、上述の動作を繰り返すことに
よって、それぞれの装置の視線によるスイッチの切り替
え操作が行われる。次に、補正係数の更新動作について
説明する。図８において、ステップ128 では、ステップ
119 で右サイドミラー操作検出部21からの操作信号の出
力が確認されると、マイクロコンピュータ50は、メモリ
部70の機器位置記憶部71に記憶された右サイドミラーの
中心位置の座標を読み込み、ステップ131 に進む。

【００５８】ステップ129 では、ステップ120 で左サイ
ドミラー操作検出部22からの操作信号の出力が確認され
ると、マイクロコンピュータ50は、機器位置記憶部71に
記憶された左サイドミラーの中心位置の座標を読み込
み、ステップ131 に進む。ステップ130 では、ステップ
121 でナビゲーション装置操作検出部23からの操作信号
の出力が確認されると、マイクロコンピュータ50は、機
器位置記憶部71に記憶されたナビゲーション装置のスイ
ッチの中心位置の座標を読み込み、ステップ131 に進
む。

【００５９】ステップ131 では、検出誤差算出部58にお
いて、ステップ128 〜ステップ130のいずれか１つのス
テップで読み込んだ座標とステップ114 で算出した眼球
中心Ｏとを通る直線Ｌ５が算出される。ステップ132 で
は、ステップ118 で求めた直線Ｌ３とステップ131 で求
めた直線Ｌ５との交差角φ２が算出される。

【００６０】ステップ133 では、更新判定部59におい
て、ステップ132 で求めた交差角φ２と閾値Ｔｈ２との
比較が行われる。交差角φ２が閾値Ｔｈ２未満の時は、
ステップ134 に進み補正係数の更新処理が行われ、交差
角φ２が閾値Ｔｈ２以上の時は、ステップ101 に戻り新
規に処理が開始される。ステップ134 では、補正係数算
出部60において、新たな補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙ
が算出される。

【００６１】ステップ135 では、補正係数記憶部72に記
憶された補正係数がステップ134 で算出した新たな補正
係数に更新され、ステップ101 に戻る。このように、ス
テップ119 〜ステップ121 で操作信号が確認されると、
ステップ128 〜ステップ135 によって補正係数の更新動
作が行われる。上述のように、第１の実施形態によれ
ば、キャリブレーション動作を行い補正係数を更新する
際に、それぞれの機器の操作信号と、操作された機器の
位置に関する情報と、計測された運転者の視線情報とか
ら補正係数の更新を行うか否かを判定し、運転者の視線
方向ｅが操作された機器の方向と略一致する時のみ補正
係数を更新することによって、正確に且つ確実に補正係
数の更新を行うことが可能となる。また、一連のキャリ
ブレーション動作は、運転者が意識しなくても自動的に
行われるため、誤差の少ない正確な視線計測が可能とな
る。更に、眼球位置を計測することによって、運転者の
眼球位置が移動しても視線方向を一意に決めることがで
きる。

【００６２】尚、第１の実施形態では、機器操作が行わ
れるとキャリブレーション動作を開始する機器を、右サ
イドミラー、左サイドミラー及びナビゲーション装置に
設定したが、本発明はこれに限らず種々の機器に設定す
ることができ、各機器の操作を行っている時の視線と操
作する位置とを対応させることで第１の実施形態と同様
の処理を行うことができる。例えば、ルームミラー、カ
ーステレオ、ラジオ、エアコンやグローブボックス等に
設定することができる。また、例えば、シフトレバー、
ライト、ワイパースイッチ、ウインカスイッチ等に設定
した場合には、それぞれの操作を運転者がレバーやスイ
ッチを見ながら行なった時に補正係数の更新を行うよう
にすれば良い。更に、例えば、予めアイコンを表示し運
転者にタッチさせるタッチパネル式の表示装置や、ＣＲ
Ｔ上にカーソルを表示して運転者にカーソルの移動等を
行わせる表示装置に設定して、運転者が操作時にアイコ
ンやカーソルの位置を注視している機会を捉えて補正係
数を算出することも可能である。加えて、乗車時には運
転者はマスターキーを車両に挿入するが、この動作は鍵
穴を見ながら行われることが多く、この機会を捉えて補
正係数を算出することもできる。この場合には、例え
ば、車両に運転者が乗り込んだ時点、あるいは運転席ド
アを開閉した後の一定時間、視線方向計測装置の動作さ
せれば走行開始前には補正係数が算出されていることに
なる。

【００６３】次に、本発明の第２の実施形態について説
明する。第２の実施形態では、補正係数の更新動作を運
転者の視線方向の分布状態に基づいて行う場合について
説明する。図９は、第２の実施形態の視線方向計測装置
の構成を示す図である。ただし、第１の実施形態の構成
と同一の部分には同一符号を付して説明を省略する。

【００６４】図９において、第２の実施形態の構成が第
１の実施形態の構成と異なる部分は、第１の実施形態に
おけるマイクロコンピュータ50への操作検出部20からの
入力がなくなり、マイクロコンピュータ50及びメモリ部
70に代えてマイクロコンピュータ50’及びメモリ部70’
を用いた点である。その他の構成は第１の実施形態の構
成と同一である。

【００６５】まず、マイクロコンピュータ50’の機能
を、図10に示す機能ブロック図に基づいて説明する。た
だし、第１の実施形態のマイクロコンピュータ50の機能
と同一の機能ブロックには同一符号を付して説明を省略
する。図10において、マイクロコンピュータ50と異なる
機能ブロックは、注視対象推定部Ｅ６としての注視対象
推定部57’及び第２の補正係数算出部Ｅ７としての補正
係数算出部60’である。

【００６６】注視対象推定部57’は、第１の実施形態と
同様の視線方向算出部56で複数の計測周期に渡って算出
された運転者の視線方向ｅを表す複数の直線Ｌ３（それ
ぞれの直線をＬ31，Ｌ32,..., Ｌ3nとする）を基に、運
転者の視線方向ｅの分布を求め、その分布状態を考慮し
て運転者が注視している後述する特徴点位置の推定を行
うと共に、前記分布の中心を求める。

【００６７】ここで、視線方向の分布の求め方の一例を
図11を用いて説明する。図11において、視線方向の分布
を求めるにあたり、運転者より１ｍ程度前方の位置に仮
想面Ｖを設ける。そして、必ずしも仮想面Ｖ上にはない
注視点80を眼球位置が移動する運転者が注視する場合
（図11では、少しづづ位置の異なる運転者の眼球81,82,
83が示してある) を考えると、運転者の視線方向ｅを表
す直線は、眼球81について直線Ｌ31、眼球82について直
線Ｌ32、眼球83について直線Ｌ33というように眼球の位
置に応じて無数に存在する。従って、これら直線Ｌ31，
Ｌ32，Ｌ33と仮想面Ｖとの交点を求め、その交点の分布
範囲を注視点80を注視する時の視線分布領域Ｓとする。

【００６８】図12は、図11の視線分布領域Ｓを車両内で
考えた場合を示す。運転者の視線方向ｅが正確に検出さ
れていれば、車両走行中の視線分布領域は、例えば、前
方注視分布91、左サイドミラー注視分布92、右サイドミ
ラー注視分布93、ルームミラー注視分布94を始め、図示
されていないがオーディオ機器やメータパネル等とな
り、運転中に情報を取得するための幾つかの特徴的な注
視対象（特徴点）を見るため、視線にも特徴的な分布が
発生する。またこの時、例えば、自動車技術,Vol.39,N
o.5,1985,PP.503等に記載されている様に、運転者は運
転中の多くで前方を注視しており、計器類に視線を向け
る場合でも、前方から計器類に視線をやり視認が完了す
るとまた視線が前方に戻ることが多い。これは視線の移
動、即ち視線のリンク分析を行うと、前方注視分布91と
左サイドミラー注視分布92との移動、前方注視分布91と
右サイドミラー注視分布93との移動及び前方注視分布91
とルームミラー注視分布94との移動が比較的多く発生す
ることを意味する。即ち、仮想面Ｖ上の視線方向の分布
と変化を分析すれば、左サイドミラー注視分布92は左サ
イドミラーを注視した場合の分布であり、右サイドミラ
ー注視分布93は右サイドミラーを注視した場合の分布で
あり、ルームミラー注視分布94はルームミラーを注視し
た場合の分布であことが推定できる。また、統計的にそ
れぞれの特徴点は視線分布領域の中心に存在すると推定
できる。

【００６９】実際に注視対象推定部57’で上記の処理を
行う場合には、視線分布領域Ｓを構成する点、即ち、直
線Ｌ31と仮想面Ｖとの交点と、その時の眼球81の位置
や、直線Ｌ32と仮想面Ｖとの交点と、その時の眼球82の
位置を記憶しておけば視線方向分布とリンクを分析する
ことが可能となる。このようにして注視対象推定部57’
では、注視点位置が推定され、後述するメモリ部70’の
注視対象位置記憶部71’に記憶された特徴点の位置情報
から、眼球中心算出部53で求められた眼球中心Ｏとその
特徴点を通る直線Ｌ５を表す方程式が算出され、視線方
向算出部56で求めた直線Ｌ３と直線Ｌ５との交差角φ２
が算出される。

【００７０】補正係数算出部60’は、注視対象推定部5
7’で推定した注視対象位置（視線分布領域の中心）と
注視対象位置記憶部71’に記憶された特徴点の位置情報
を用いて補正係数を算出する。補正係数が正確でない場
合、視線の分布は例えば図13のようになる。しかし、前
述のように注視対象推定部57’で視線方向分布とリンク
を分析すれば、図13の、例えば左サイドミラー注視分布
92' の位置は、本来図12の左サイドミラー注視分布92の
位置に存在することが推測できる。従って、補正係数算
出部60’では、左サイドミラー注視分布92' の位置を左
サイドミラー注視分布92の位置に合わせるように補正係
数が算出される。

【００７１】また、前述のメモリ部70’は、注視対象位
置記憶部Ｅ５としての注視対象位置記憶部71’に左右サ
イドミラーやルームミラーの中心位置等、特徴点の位置
が予め記憶されると共に、補正係数記憶手段Ｃとしての
補正係数記憶部72’にマイクロコンピュータ50で算出さ
れた補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙ等の演算結果が記憶
される。

【００７２】次に、第２の実施形態の動作を図14に示す
フローチャートに基づいて説明する。ただし、第１の実
施形態の動作を示すフローチャートと同じ部分には同一
符号を付して説明を省略する。図14において、視線方向
の計測が開始されると、ステップ201 で計測回数ｎが初
期化される。計測回数ｎは補正係数の算出を行うか否か
を判定するためのデータ数をカウントするパラメータで
ある。また、視線方向の分布状態に関する情報を記録す
るメモリ部70' に設定されたテーブル（ＴＢＬ）がクリ
アされる。

【００７３】ステップ202 では、計測回数ｎがインクリ
メントされる。そして、第１の実施形態と同様のステッ
プ101 〜ステップ117 までの動作が行われ、眼球中心
Ｏ、視軸回転角θｘ，θｙ等が算出される。ステップ20
3 では、ｎ回目の計測回数のときの運転者の視線方向ｅ
を表す直線Ｌ3nが算出される。

【００７４】ステップ204 では、ステップ203 で求めた
直線Ｌ3nと仮想面Ｖとの交点を算出し、算出した交点の
位置と共にその時の眼球中心Ｏの位置がメモリ部70' の
テーブルに記憶される。ステップ205 では、計測回数ｎ
が、予め設定した計測回数、ここでは例えば２万回を越
えたか否かが判別される。計測回数ｎが２万回を越える
と、補正係数を求める処理を行うため、図15のフローチ
ャートに示すステップ206 に進む。計測回数ｎが２万回
以下の時にはステップ122 に進む。

【００７５】ステップ122 〜ステップ127 は、第１の実
施形態と同様の視線スイッチ動作が行われる。図15に示
すステップ206 では、注視対象推定部57’において、テ
ーブルに記憶された直線Ｌ31〜Ｌ3nに関する複数のデー
タが読み込まれ、これら複数のデータに基づいて視線方
向の分布状態が求められる。そして分布頻度が高い箇所
及びリンク分析の結果より、各視線分布領域が推定さ
れ、それぞれの視線分布領域の中心が算出される。

【００７６】ステップ207 では、ステップ206 で求めら
れた各視線分布領域の中心がどの特徴点、例えば、右サ
イドミラーの位置等に対応するかが推定される。ステッ
プ208 では、ステップ207 で対応付けられたそれぞれの
特徴点の位置について、メモリ部70' の注視対象位置記
憶部71’に記憶された正確な位置情報が読み込まれ、そ
の読み込まれた位置と視線分布領域の中心位置が一致す
るものとして新たな補正係数Ａ１，Ｂ１ｘ，Ｂ１ｙが算
出される。

【００７７】そして、第１の実施形態と同様のステップ
135 で、メモリ部70' の補正係数記憶部72’に記憶され
た補正係数がステップ208 で求めた新たな補正係数に更
新され、ステップ201 に戻る。このように、第２の実施
形態によれば、運転者の視線方向の分布状態に基づいて
注視対象を推定し、その注視対象の位置情報を用いて補
正係数を算出、更新することによって、従来の装置ある
いは第１の実施形態の装置とは異なり、特定の機器が操
作されなくても補正係数の更新が可能となる。また、こ
の場合でも一連の動作は運転者に意識させずに自動的に
行われるため、誤差の少ない正確な視線計測が可能とな
る。

【００７８】尚、第２の実施形態では、走行中に左右サ
イドミラーやルームミラーの注視位置を推定する構成と
したが、本発明はこれに限られるものではない。例え
ば、ナビゲーション装置で音声案内等の機能を有する装
置では、注意を喚起する目的でブザー音等を発生し、こ
れに続けて進行方向の案内を音声情報で呈示する手法が
しばしば行われる。この場合、運転者は音声案内の後に
表示画面を確認する場合が多い。従って、音声案内発生
後の一定時間はナビゲーション装置の表示画面を見る確
率が高くなることを考慮して注視対象を推定しても良
い。

【００７９】次に、本発明の第３の実施形態について説
明する。第３の実施形態では、第２の実施形態における
注視対象の推定動作が機器の操作を考慮して行われる場
合について説明する。図16は、第３の実施形態の視線方
向計測装置の構成を示す図である。ただし、第２の実施
形態の構成と同一の部分には同一符号を付して説明を省
略する。

【００８０】図16において、第３の実施形態の構成が第
２の実施形態の構成と異なる部分は、第２の操作検出部
Ｅ８としての操作検出部20' の出力がマイクロコンピュ
ータ50''に入力される点である。その他の構成は第２の
実施形態の構成と同一である。操作検出部20' は、運転
者による操作を検出する特定の機器として、例えば、ウ
インカレバー及びシフトレバーに設定した場合におい
て、右ウインカ操作検出部24と、左ウインカ操作検出部
25と、バックギア操作検出部26とで構成される。ウイン
カレバー及びシフトレバーを設定した理由は、ウインカ
レバーが操作される前後には、車両の向かう方向やその
方向のサイドミラーへの運転者の注視が増えること、ま
た、シフトレバーで後退が選択されるとその前後でルー
ムミラーへの運転者の注視が増えることを利用して注視
対象の推定を行うためである。右ウインカ操作検出部24
は、ウインカレバーが右方向に操作されたことを検出し
てマイクロコンピュータ50''に操作信号を送出する。左
ウインカ操作検出部25は、ウインカレバーが左方向に操
作されたことを検出してマイクロコンピュータ50''に操
作信号を送出する。バックギア操作検出部26は、シフト
レバーで後退が選択されたことを検出してマイクロコン
ピュータ50''に操作信号を送出する。

【００８１】マイクロコンピュータ50''は、図17の機能
ブロック図に示すように、操作検出部20' から出力され
る操作信号が注視対象推定部57''に入力される構成で、
その他の部分は第２の実施形態のマイクロコンピュータ
50’と同一である。次に、第３の実施形態の動作を図18
に示すフローチャートに基づいて説明する。ただし、第
１、２の実施形態の動作を示すフローチャートと同じ部
分には同一符号を付して説明を省略する。

【００８２】図18において、視線方向の計測が開始され
ると、第１の実施形態の動作と同様に、ステップ101 〜
ステップ117 の動作によって眼球中心Ｏ、視軸回転角θ
ｘ，θｙ等が算出され、第２の実施形態の同様のステッ
プ203 の動作によって運転者の視線方向ｅを表す直線Ｌ
3nが算出される。ステップ301 では、マイクロコンピュ
ータ50''において、操作検出部20' からの操作信号の有
無が判別される。操作信号が発生している時は図19のス
テップ302 に進む。操作信号が発生していない時はステ
ップ122 に進み、第１の実施形態と同様のステップ122
〜ステップ127 で視線スイッチ動作が行われる。

【００８３】図19のフローチャートに示すステップ302
では、第２の実施形態のステップ201 の動作と同様に、
計測回数ｎが初期化されると共にテーブルがクリアされ
る。ステップ303 では、第２の実施形態のステップ202
の動作と同様に、計測回数ｎがインクリメントされる。
ステップ304 では、第２の実施形態のステップ101 〜ス
テップ203 と同様の一連の動作が行われ直線Ｌ3nが算出
される。

【００８４】ステップ305 では、第２の実施形態のステ
ップ204 の動作と同様に、直線Ｌ3nと仮想面Ｖとの交点
を算出し、算出した交点の位置と共にその時の眼球中心
Ｏの位置がテーブルに記憶される。ステップ306 では、
操作検出部20' からの操作信号が継続して送出されてい
るか否かが判別される。操作信号が継続している場合に
は、ステップ303 に戻り注視対象の推定を行うためのデ
ータを蓄積していく。操作信号が継続していない場合に
は、ステップ206 に進み補正係数が算出される。

【００８５】ステップ206 〜ステップ135 では、第２の
実施形態の動作と同様に、テーブルに記憶されたデータ
に基づいて注視対象及び特徴点が推定され、補正係数の
算出、更新が行われる。補正係数の更新後はステップ10
1 に戻る。このように、第３の実施形態によれば、第２
の実施形態の効果に加えて、運転者の注視対象を推定す
る際、特定の機器の操作を考慮して行うことによって、
注視対象の推定がより確実になるため、一層正確且つ確
実に補正係数の更新を行うことが可能となる。

【００８６】尚、第３の実施形態では、ウインカレバー
及びシフトレバーの操作が行われるとサイドミラー及び
ルームミラーの注視が増えることを利用する構成とした
が、本発明はこれに限られるものではない。例えば、ブ
レーキを踏む前後にはルームミラーへの注視が増えるこ
と、シフトチェンジ時にはシフトレバーへの注視が増え
ること、停止時には信号への注視が増えること、前方車
両に追従して停止する時には前方車両の運転者付近への
注視が増えること、ナビゲーション装置装着車では停止
時にナビゲーション装置への注視が増えること等を利用
することも応用可能である。

【００８７】また、警告灯が点灯した場合、これを見て
運転者が動作を開始することがある。例えば、シートベ
ルト未装着の場合に点灯する警告灯が点灯した時、運転
者はその表示を見た後にシートベルトを装着するような
場合がある。この場合、シートベルトを装着する動作が
行われる前には、該当する警告表示灯を見た確率が高い
ため、この機会を捉えて補正係数を算出することもでき
る。同様に、例えばサイドブレーキ等の操作が行われた
場合でも、その動作が行われる前には該当する警告表示
灯を見た確率が高く、この機会を利用しても良い。

【００８８】更に、前記シートベルトの警告表示灯を見
た時に補正係数を算出するのに加え、シートベルト装着
時にはシートベルト金具を見ながら操作することを考慮
して補正係数を算出すれは、略同時に２つの異なった注
視位置で補正係数が求められるため、より一層正確な補
正係数の算出が可能となる。このことは、サイドブレー
キ等の操作の場合も同様であることは言うまでもない。

【図面の簡単な説明】

【図１】請求項１又は２に記載の発明のクレーム対応図

【図２】請求項３に記載の発明のクレーム対応図

【図３】請求項４に記載の発明のクレーム対応図

【図４】本発明の第１の実施形態の構成を示す図

【図５】同上第１の実施形態の運転席付近のレイアウト
の一例を示す図

【図６】同上第１の実施形態のマイクロコンピュータの
機能ブロック図

【図７】同上第１の実施形態の動作を示すフローチャー
ト

【図８】同上第１の実施形態の補正係数の更新動作を示
すフローチャート

【図９】本発明の第２の実施形態の構成を示す図

【図10】同上第２の実施形態のマイクロコンピュータの
機能ブロック図

【図11】同上第２の実施形態での視線方向の分布の求め
方を説明する図

【図12】同上第２の実施形態での補正係数を算出するた
めの基準となる視線分布を説明する図

【図13】同上第２の実施形態での正確な補正係数を算出
する前の視線分布算出結果を示す図

【図14】同上第２の実施形態の動作を示すフローチャー
ト

【図15】同上第２の実施形態の補正係数の更新動作を示
すフローチャート

【図16】本発明の第３の実施形態の構成を示す図

【図17】同上第３の実施形態のマイクロコンピュータの
機能ブロック図

【図18】同上第３の実施形態の動作を示すフローチャー
ト

【図19】同上第３の実施形態の補正係数の更新動作を示
すフローチャート

【図20】従来技術において、眼球位置が固定されている
場合に視線方向が一意に算出されることを説明する図

【図21】従来技術において、眼球位置が３次元空間内で
固定されない場合に視線方向が一意に算出されないこと
を説明する図

【符号の説明】

10 眼球撮影部 20,20' 操作検出部 30 コントローラ部 40 表示部 50,50',50'' マイクロコンピュータ 51 角膜反射像抽出部 52 角膜反射直線算出部 53 眼球中心算出部 54 瞳孔中心算出部 55 眼球回転角算出部 56 視線方向算出部 57 注視対象判定部 57’ 注視対象推定部 58 検出誤差算出部 59 更新判定部 60,60' 補正係数算出部 61 停留判定部 70 メモリ部 71 機器位置記憶部 71’ 注視対象位置記憶部 72,72' 補正係数記憶部

Claims

【特許請求の範囲】

【請求項１】計測対象者に応じて計測誤差を補正する補
正係数を算出し、該補正係数を用いて前記計測対象者の
視線方向を計測する視線方向計測装置において、前記計測対象者の眼球の位置を検出する眼球位置検出手
段と、前記眼球の回転角を検出する眼球回転角検出手段と、前記補正係数を記憶する補正係数記憶手段と、該補正係数記憶手段に記憶された補正係数を用い前記眼
球位置及び前記眼球回転角に基づいて前記計測対象者の
視線方向を算出する視線方向算出手段と、該視線方向算出手段で算出された視線方向に基づく視線
情報によって予め設定した注視対象を前記計測対象者が
注視したと判断される場合に、前記視線情報及び前記注
視対象の位置に基づいて新たな補正係数を算出し、前記
補正係数記憶手段に記憶された補正係数を更新する補正
係数更新手段と、を備えて構成されたことを特徴とする視線方向計測装
置。
【請求項２】前記補正係数更新手段は、前記注視対象と
して予め設定した機器の操作が検出されると操作信号を
出力する第１の操作検出部と、前記機器の位置を予め記
憶する機器位置記憶部と、前記第１の操作検出部から操
作信号が出力された時、前記機器位置記憶部に記憶され
た当該機器の位置を基に算出される機器方向と前記視線
方向算出手段で算出された視線方向とのずれ量を求め、
該ずれ量が予め設定した閾値未満の時には前記補正係数
記憶手段に記憶された補正係数の更新を行う判定をする
補正係数更新判定部と、該補正係数更新判定部で更新を
行う判定がなされると前記ずれ量を補正する新たな補正
係数を算出し、前記補正係数記憶手段に記憶された補正
係数の更新を行う第１の補正係数算出部とを備えて構成
されたことを特徴とする請求項１に記載の視線方向計測
装置。
【請求項３】前記補正係数更新手段は、前記注視対象の
位置を予め記憶する注視対象位置記憶部と、所定の計測
回数間に前記視線方向算出手段で算出された複数の視線
方向の分布状態及び変化状態に基づいて前記注視対象の
位置を推定する注視対象推定部と、該注視対象推定部で
推定された前記注視対象の位置と前記注視対象位置記憶
部に記憶された前記注視対象の位置との差異に応じて補
正係数を算出し、前記補正係数記憶手段に記憶された補
正係数の更新を行う第２の補正係数算出部とを備えて構
成されたことを特徴とする請求項１に記載の視線方向計
測装置。
【請求項４】前記補正係数更新手段は、前記注視対象に
関連して予め設定した機器の操作が検出されると操作信
号を出力する第２の操作検出部を備え、前記注視対象推
定部が前記第２の操作検出部からの操作信号に応じて前
記注視対象の位置を推定する構成としたことを特徴とす
る請求項３に記載の視線方向計測装置。
【請求項５】計測対象者に応じて計測誤差を補正する補
正係数を算出し、該補正係数を用いて前記計測対象者の
視線方向を計測する視線方向計測装置において、前記計
測対象者の眼球位置及び眼球回転角を検出し、前記補正
係数を用い検出した前記眼球位置及び前記眼球回転角に
基づいて前記計測対象者の視線方向を算出すると共に、
該算出した視線方向に基づく視線情報によって予め設定
した注視対象を前記計測対象者が注視したと判断される
場合に、前記視線情報及び前記注視対象の位置に基づい
て前記補正係数を更新する構成としたことを特徴とする
視線方向計測装置。