JPH08297019A

JPH08297019A - 車両用視線方向計測装置

Info

Publication number: JPH08297019A
Application number: JP12714595A
Authority: JP
Inventors: Takuo Ishiwaka; 卓夫石若; Hiroshi Saito; 浩斎藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1995-04-27
Filing date: 1995-04-27
Publication date: 1996-11-12

Abstract

(57)【要約】【目的】視線方向算出の演算処理を高速化する。【構成】カメラ２４と第１、第２の発散照明２２、２
３により撮像した運転者２１の顔面の画像データが画像
メモリに格納される。画像データを処理して、瞳孔直線
算出部３３でカメラの焦点と瞳孔中心位置を通る瞳孔直
線を算出し、角膜反射像直線算出部３４で角膜反射像を
通る角膜反射像直線を算出する。距離センサ３５により
カメラから顔面までの距離を計測し、角膜球中心算出部
３６で角膜反射像直線と顔面までの距離とから角膜球中
心を算出する。そして、視線方向算出部３７でこの角膜
球中心と瞳孔直線とから視線方向を算出する。カメラか
ら顔面までの奥行き距離を角膜球中心の算出に用いるの
で、演算量が大幅に低減される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車両運転者の視線方向
を計測する車両用視線方向計測装置に関する。

【０００２】

【従来の技術】車両運転者の視線方向を計測する装置
は、車両用の非接触ヒューマンマシンインタフェイスと
して、例えば車両運転者の注目している方向に視覚情報
を表示するとか、視線方向に応じて、例えばオーディオ
コントローラ、エアコンコントローラ、ラジオコントロ
ーラ、変速走行装置コントローラ等を選択して制御する
ための特定のスイッチを動作させるなど種々の利用が提
案されている。このような車両用非接触ヒューマンマシ
ンインタフェイスを構成するために必要な車両用視線方
向計測装置は、従来一般に、眼球の角膜反射像の位置を
画像情報として取り入れて計測する装置が提案されてい
る。この角膜反射像は眼球への照射光が眼球を構成する
光学系の各面で反射屈折することによって生じる像であ
り、プルキンエ像とも呼ばれている。

【０００３】このような従来の視線方向計測装置として
は、例えば、特開平２−１３４１３０号公報に開示され
ているようなものがある。これは、光源と共軸系をなす
カメラによって人間の角膜反射像を写し、光源の反射光
の座標とカメラの座標を結んで角膜球の中心を通る直線
の式を求めるとともに、同時に瞳孔の中心座標を求める
という作業を、互いに離隔して設けられた２台のカメラ
によって行い、各々のカメラと光源によって得た２本の
直線の交点として角膜球の中心座標を求め、角膜球の中
心座標と瞳孔の中心座標とを結ぶ直線を視線方向とする
ものである。

【０００４】また、他の例として特開平６−２６１８６
３号公報に開示されているような、カメラを１台として
低価格化を図ったものがある。この装置では、互いに離
隔して設けられた２個の照明を極めて短い時間間隔で交
互に点灯し、それぞれの照明の点灯に対して撮影した２
枚の画像ペアより、網膜反射像の座標値と角膜反射像の
座標値を算出して視線方向を得るようにしている。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の視線方向計測装置のうち、特開平２−１３４
１３０号公報に開示されたものにおいては、視線方向を
検出するために２台のカメラを必要とするため、車両用
としては装置が高価になるという問題があった。また、
特開平６−２６１８６３号公報に開示された従来例にお
いては、２台のカメラを必要とする問題点は解決されて
いるが、角膜球中心を算出する際の演算が複雑になり、
演算時間がかかるため、実時間処理を考えると、処理の
高速化が望まれるという問題があった。本発明は、この
ような従来の問題点に着目してなされたものであり、角
膜球中心を算出する際の演算量を低減して、より高速に
演算することのできる車両用視線方向計測装置を提供す
ることを目的としている。

【０００６】

【課題を解決するための手段】このため本発明は、図１
に示すように、空間的に互いに異なる位置に配置され、
運転者の顔面を不可視光により照射する複数の照明２
と、該複数の照明の１つの光源と光軸を一致させて設け
られ、運転者の眼球からの反射像を撮像する撮像装置３
を備えて各照明毎の画像デ−タを得る画像入力手段１
と、画像デ−タから網膜反射像を抽出して瞳孔中心を算
出するとともに、角膜反射像を抽出する瞳孔および角膜
反射像抽出手段４と、算出された瞳孔中心と撮像装置の
焦点位置とを通る瞳孔直線を算出する瞳孔直線算出手段
５と、上記抽出された角膜反射像と撮像装置の焦点位置
とを通る角膜反射像直線を算出する角膜反射像直線算出
手段６と、撮像装置から運転者の顔面までの距離を求め
る奥行き情報抽出手段７と、角膜反射像直線算出手段６
で求めた角膜反射像直線と奥行き情報抽出手段７で求め
た撮像装置から顔面までの距離とから角膜球の中心位置
を算出する角膜球中心算出手段８と、前記瞳孔直線と角
膜球の中心位置とから運転者の視線方向を算出する視線
方向算出手段９とを有するものとした。

【０００７】上記の奥行き情報抽出手段は、画像入力手
段の撮像装置の近傍に設置された距離センサとすること
ができ、あるいは、瞳孔および角膜反射像抽出手段で算
出された両眼の瞳孔中心間の間隔を基に、撮像装置から
運転者の顔面までの距離を算出するものでもよい。

【０００８】

【作用】画像入力手段１で各照明毎に運転者の眼球から
の反射像が撮像されて画像デ−タが得られる。瞳孔およ
び角膜反射像抽出手段４では、この画像デ−タから網膜
反射像を抽出してその重心を算出して瞳孔中心とし、ま
たその近傍において角膜反射像を抽出する。瞳孔直線算
出手段５では、瞳孔中心の位置と撮像装置の焦点位置と
を通る瞳孔直線を直線式として求め、また、角膜反射像
直線算出手段６では、角膜反射像の位置と撮像装置の焦
点位置とを通る角膜反射像直線を直線式として求める。
そして、角膜球中心算出手段８において、角膜反射像直
線上、奥行き情報抽出手段７で求めた撮像装置から顔面
までの距離の点に角膜球の中心位置を求める。視線方向
算出手段９では、この角膜球の中心位置と前記の瞳孔直
線を基に、眼球の既知の角膜球半径を用いて視線方向を
算出する。

【０００９】

【実施例】以下、本発明を図面に基づいて説明する。図
２は車両の視線スイッチに適用した本発明の実施例の構
成を示すブロック図である。車両の運転者の顔面に向け
てその眼球部を撮影する撮像装置としてのカメラ２４が
設けられるとともに、第１、第２の発散照明２２、２３
が設けられる。カメラ２４はその撮像素子としてＣＣＤ
を備えている。第１の発散照明２２は、カメラ２４と光
軸を一致させて共軸系に配置され、人間に不可視な近赤
外光により運転者の顔面を照明する。第２の発散照明２
３は、第１の発散照明２２から離間して相対関係が既知
の所定の位置に、カメラ２４と非共軸系に配置され、同
様に人間に不可視な近赤外光により運転者の顔面を照明
する。

【００１０】第１の発散照明２２および第２の発散照明
２３は照明発光制御部２５に接続されている。この照明
発光制御部２５は、装置全体の動作を制御する全体制御
部２６からの信号に基づいて制御動作を行うようになっ
ている。カメラ２４は、撮影した画像データをディジタ
ルデータに変換するＡ／Ｄ変換器２７を経て、画像デー
タを格納する画像メモリ２８に接続されている。

【００１１】画像メモリ２８には、入力画像データから
網膜反射像領域を抽出する網膜反射像抽出部３０と、抽
出された網膜反射像領域の重心を算出して瞳孔中心を算
出する瞳孔中心算出部３１とが順次に接続されている。
ここで、瞳孔中心とは、画像上での網膜反射像の重心位
置を表す。したがって、その座標は画像上で２次元で表
示される。

【００１２】瞳孔中心算出部３１には、算出された瞳孔
中心と、カメラ２４のレンズ焦点位置とを通る直線（以
下、瞳孔直線と称する）を算出する瞳孔直線算出部３３
と、瞳孔中心近傍に設定された領域を探索して角膜反射
像を抽出する角膜反射像抽出部３２とが接続されてい
る。また、角膜反射像抽出部３２には、抽出された角膜
反射像とカメラ２４のレンズ焦点位置とを通る直線（以
下、角膜反射像直線と称する）を算出する角膜反射像直
線算出部３４が接続されている。

【００１３】全体制御部２６に接続されて、距離センサ
３５が設けられ、全体制御部２６からの計測開始信号を
受けてカメラ２４から運転者２１の顔面までの距離を計
測し、角膜中心算出部３６に出力する。角膜中心算出部
３６は、角膜反射像直線算出部３４とも接続され、角膜
反射像直線算出部３４で算出された角膜反射像直線と距
離センサ３５で計測したカメラ２４から運転者顔面まで
の距離とから、角膜球の中心位置を算出する。

【００１４】瞳孔直線算出部３３と角膜球中心算出部３
６とは、視線方向算出部３７に接続されている。視線方
向算出部３７は、角膜中心算出部３６により得られた角
膜球中心の３次元位置と、瞳孔直線算出部３３による瞳
孔直線に基づく虹彩中心の位置とから、運転者の視線方
向を算出するようになっている。ここで、虹彩中心は、
３次元空間上での瞳孔の中心位置を表す。したがって、
その座標は実空間上の３次元で表され、画像上の瞳孔中
心とは区別される。

【００１５】視線方向算出部３７には、停留判断部３９
が接続され、フロントウィンドシールド上に設定された
視線スイッチエリア３８内での視線の停留位置を判断し
て、コントローラ切り替え部４０への制御情報を出力す
る。コントローラ切り替え部４０は、停留判断部３９の
出力に基づき、オーディオコントローラ４１、エアコン
コントローラ４２、ラジオコントローラ４３およびＡＳ
ＣＤ（定速走行装置）コントローラ４４のいずれかを制
御する信号を出力する。

【００１６】ＨＵＤ（ヘッドアップディスプレイ）表示
制御部４５は、コントローラ切り替え部４０を通して出
力される各コントローラ４１〜４４の信号に基づき、Ｈ
ＵＤ表示部４６にＨＵＤ表示を行なう。また、ステアリ
ングハンドルにはコントローラ切り替え部４０と接続さ
れたステアリングスイッチ４７が設置されている。メイ
ンスイッチ４８が上述した装置全体のＯＮ・ＯＦＦを司
っている。

【００１７】図３の（ａ）は上記実施例装置のレイアウ
トを示す。ステアリングハンドル４９にメインスイッ
チ４８およびステアリングスイッチ４７が配置されてい
る。カメラ２４が車室内計器盤上、ステアリングハンド
ルの一方の側に設置される。そして、このカメラ２４の
光軸と照射方向を一致させた共軸系の第１の発散照明２
２が設けられ、ステアリングハンドルを挟んで反対側に
非共軸系の第２の発散照明２３が配置されている。

【００１８】運転者正面のウィンドシールド５０には、
視線スイッチエリア３８およびＨＵＤ表示部４６が設定
されている。さらに、計器盤の運転者正面にはカメラ２
４から運転者２１の顔面までの距離を計測する距離セン
サ３５が配置されている。距離センサ３５には、超音波
型センサやＰＳＤ（ＰｏｓｉｔｉｏｎＳｅｎｓｉｔｉ
ｖｅＤｅｖｉｃｅ）など適宜の計測手段が用いられ
る。視線スイッチエリア３８には、図３の（ｂ）に示す
ように、コントローラ切り替え部４０を介して制御され
る制御項目名が表示される。ステアリングスイッチ４７
とメインスイッチ４８は同図の（ｃ）に示すように、ス
テアリングパッド部に配置されている。

【００１９】ここで、本実施例による視線検出の原理に
ついて図４および図５を用いて説明する。図４は、眼球
を外部から照射したときの状態を示したものである。カ
メラＣで眼球を撮像すると、角膜表面での正反射光が捕
捉され輝点として角膜反射像が観測される。カメラＣと
非共軸の光源Ｌ２（第２の発散照明２３に相当）で照明
したときには、角膜を構成する球（中心をＯとする角膜
球）上の点Ｐで正反射が発生し、点Ｒに虚像の角膜反射
像が発生する。また、特に光源がカメラと共軸系に配置
されている場合（第１の発散照明２２に相当）は、これ
らの点はＰ’、Ｒ’、Ｏのように同一線上に乗る。

【００２０】すなわち、本実施例においては、共軸系に
配置した第１の発散照明２２を伴なったカメラ２４で眼
球を観測すると、角膜反射像位置とカメラ２４の焦点位
置とを結ぶ角膜反射像直線上に角膜球中心０が存在する
ことになる。角膜反射像直線算出部３４は、この角膜反
射像位置とカメラ２４の焦点を結ぶ角膜反射像直線を算
出するものである。

【００２１】一方、距離センサ３５では、カメラ２４か
ら運転者２１の顔面までの距離を計測する。眼球は顔の
表面にあるから、カメラ２４から運転者２１の顔面まで
の距離を例えば１ｍ程度とすると、カメラ２４から角膜
球中心０までの距離はカメラ２４から運転者２１の顔面
までの距離とほぼ等しく、その差は無視できる。すなわ
ち、カメラ２４から角膜球中心０までの距離は、距離セ
ンサ３５により計測できる。

【００２２】したがって、図５に示すように、距離セン
サ３５により計測したカメラ２４から運転者２１の顔面
までの距離の等距離面と、角膜反射像直線算出部３４に
より算出した、角膜反射像位置とカメラ２４の焦点位置
を結ぶ角膜反射像直線との交点が角膜球中心となる。角
膜球中心算出部３６は、このようにして角膜球中心０を
決定する。

【００２３】また、上記共軸系で眼球を観測すると、瞳
孔を通過した光束が網膜上で反射して入射方向に戻り、
瞳孔から出射してカメラ２４に達し、瞳孔領域が明るく
観察される。これは、一般にカメラで人間の顔をストロ
ボ撮影したとき、瞳孔が赤く光る赤目現象として知られ
たものであり、こうして生じる像を網膜反射像と呼んで
いる。網膜反射像は、一般に楕円形状に観測され、その
重心位置は瞳孔中心と一致すると考えられる。すなわ
ち、カメラ２４上の網膜反射像の重心位置とカメラ２４
の焦点を結ぶ瞳孔直線上に虹彩中心Ｑが存在することに
なる。

【００２４】瞳孔直線算出部３３は、このカメラ２４上
の網膜反射像の重心すなわち瞳孔中心とカメラ２４の焦
点を結ぶ瞳孔直線を算出する。角膜球中心０と虹彩中心
（水晶体前面）の距離は約４．２ｍｍであるので、上述
のように決定した角膜球中心０を中心とする半径４．２
ｍｍの球面と、瞳孔直線算出部３３で算出した瞳孔直線
との交点を求めれば、虹彩中心Ｑの３次元位置が求めら
れ、角膜球中心０と虹彩中心Ｑとを結べば視線方向が算
出される。視線方向算出部３７は、この虹彩中心Ｑの決
定および視線方向の算出を行う。

【００２５】次に、本実施例装置の作用を、エアコンの
設定温度を変更する場合を例に制御動作を示す図６〜図
８のフローチャートに基づいて説明する。車両運転者２
１がエアコンを操作したいと考えたときには、視線スイ
ッチエリア３８のエアコン領域（図３の（ｂ）中のＡ／
Ｃ領域）を注視する。同時に運転者２１はステアリング
ハンドル４９のメインスイッチ４８を押す。これによ
り、装置が動作を開始し、車両の運転者２１の注目して
いる方向の計測が行われる。

【００２６】すなわちまずステップ２０１で、全体制御
部２６から計測開始信号が出力される。ステップ２０２
では、この信号に基づき照明発光制御部２５からトリガ
信号が発せられて、第１の発散照明が点灯され、車両運
転者２１の顔面が照明される。ステップ２０３におい
て、この照明された運転者２１の顔面領域の画像がカメ
ラ２４によって撮像され、画像情報がＡ／Ｄ変換器２７
によりＡ／Ｄ変換されて、ディジタルの画像データＩ１
（ｘ，ｙ）として、画像メモリ２８に格納される。

【００２７】ステップ２０４では、照明発光制御部２５
からのトリガ信号によって、第１の発散照明に代わって
第２の発散照明２３が点灯され、車両運転者２１の顔面
が照明される。ステップ２０５において、この照明され
た運転者２１の顔面領域の画像がカメラ２４によって撮
像され、ステップ２０３と同様に画像情報が、Ａ／Ｄ変
換器２７によりＡ／Ｄ変換されて、ディジタルの画像デ
ータＩ２（ｘ，ｙ）として、画像メモリ２８に格納され
る。上記のステップ２０２〜２０５が、発明の画像入力
手段を構成している。

【００２８】ステップ２０６では、全体制御部２６から
距離計測開始信号が出力される。そして、ステップ２０
７では、この信号に基づき距離センサ３５において、カ
メラ２４から運転者２１の顔面までの距離である奥行き
距離が計測される。上記のステップ２０６、２０７が発
明の奥行き情報抽出手段を構成している。

【００２９】ステップ２０８では、画像データＩ１
（ｘ，ｙ）と画像データＩ２（ｘ，ｙ）の差分処理を行
い、画像データＩ３（ｘ，ｙ）を作成する。なお、差分
処理時に負となったデータは０とする。このあとステッ
プ２０９では、画像データＩ３（ｘ，ｙ）を、予め設定
したしきい値Ｔｈ１（Ｔｈ１＞０）と比較し、しきい値
以上をＦＦ、しきい値未満を０（画像メモリ２８が８ビ
ットの場合）として２値化し、ノイズを除去した画像デ
ータＩ４（ｘ，ｙ）を演算する。

【００３０】ステップ２１０では、抽出された各領域の
画像データＩ４（ｘ，ｙ）に番号付けを行うラベリング
処理が施される。これは画像処理では汎用的に用いられ
るものであり、説明は省略する。ステップ２１１では、
ラベリング処理後の各領域の面積を計算する。そして、
画像メモリ２８中に各領域毎の面積を記憶したテーブル
を作成する。ステップ２１２では、各領域の面積のうち
最大のものについて外接四角形を求め、その縦、横の辺
の長さを計算する。

【００３１】そしてステップ２１３において、上記の外
接四角形が予め設定されたｍ×ｎの領域内に入っている
か否かをチェックする。これは、外接四角形の横の辺の長さ＜ｍ外接四角形の縦の辺の長さ＜ｎを同時に満足することを意味する。外接四角形がｍ×ｎ
領域内にあるときは、ステップ２１５へ進み、ｍ×ｎ領
域よりも対象領域が大きい場合には、ステップ２１４へ
進む。ステップ２１４では、対象とした領域の面積を０
としてステップ２１２へ戻り、次に面積の大きい領域に
ついて、再度比較を行う。以上のステップ２０８〜２１
４は網膜反射像抽出部３０で行なわれる。

【００３２】ステップ２１５では、瞳孔中心算出部３１
において、上記外接四角形がｍ×ｎ領域に収まる最大の
領域を網膜反射像として、その重心位置を演算する。演
算は下記の式により当該領域の重心座標（Ｘｇｉ，Ｙｇ
ｉ）を求めることにより行なわれる。

【数１】このあと、ステップ２１６で、瞳孔直線算出部３３にお
いて、瞳孔中心位置とカメラ２４の焦点位置を通る瞳孔
直線を算出する。

【００３３】ステップ２１７では、瞳孔中心位置の候補
の近傍に、輝点位置を探索するための領域を設定する。
探索領域は、瞳孔中心位置を中心に設定するものとす
る。すなわち、図９に示すように、ｐ画素×ｑ画素領域
を設定する。なお、このｐ、ｑは予め設定しておく。ス
テップ２１８で、ｐ×ｑ領域内の最高輝点の抽出を行
う。これを角膜反射像として、その座標を（ｘ１，ｙ
１）とする。以上のステップ２１７〜２１８は角膜反射
像抽出部３２において処理される。ステップ２１９で
は、角膜反射像直線算出部３４において、上に抽出した
角膜反射像とカメラ２４の焦点位置を通る角膜反射像直
線を算出する。上記のステップ２０８〜２１５、および
ステップ２１７、２１８が発明の瞳孔および角膜反射像
抽出手段を構成し、ステップ２１６が瞳孔直線算出手段
を、ステップ２１９が角膜反射像直線算出手段をそれぞ
れ構成している。

【００３４】ステップ２２０では、角膜中心算出部３６
において、ステップ２０７で求めたカメラ２４から運転
者２１の顔面までの奥行き距離と、ステップ２１９で求
めた角膜反射像直線により角膜球中心の３次元座標を算
出する。次いで、ステップ２２１において、虹彩中心の
３次元座標を算出する。ステップ２２２では、ステップ
２２０で求めた角膜球中心の座標とステップ２２１で求
めた虹彩中心の座標から、運転者２１の視線方向を算出
する。以上のステップ２２１〜２２２は、視線方向算出
部３７において処理される。上記のステップ２２０が発
明の角膜球中心算出手段を構成し、ステップ２２１、２
２２が視線方向算出手段を構成している。

【００３５】以上の視線方向の計測が繰り返されて、刻
々視線方向算出部３７から視線方向の算出結果が出力さ
れると、ステップ２２３では、停留判断部３９におい
て、その視線方向への停留時間を算出する。そして、ス
テップ２２４において、停留時間が所定値（例えば３
秒）以上となっているか否かをチェックする。視線方向
が一定箇所に停留していればステップ２２５へ進み、停
留していなければステップ２０２へ戻る。

【００３６】ステップ２２５では、運転者２１の希望す
る対象物の制御を行う。これは、コントローラ切り換え
部４０において、停留判断部３９から例えば視線方向が
視線スイッチエリア３８のエアコン領域に所定時間停留
している旨の出力を受けると、運転者２１がエアコンの
コントロールを希望しているものとして、エアコンコン
トローラ４２のコントロールに制御を切り換える。

【００３７】本実施例は以上のように構成され、視線方
向を算出するに必要な角膜球中心の３次元位置を求める
のに、予め計測したカメラから運転者までの奥行き距離
と、角膜反射像とカメラの焦点位置を通る角膜反射像直
線とから算出するものとし、これと虹彩中心とから視線
方向を算出するようにしたので、演算量としたがって演
算時間が大幅に短縮され、処理が大幅に高速化されると
いう効果を有する。

【００３８】そして、環境照度が低くてカメラの絞りを
開けないと撮像ができず、そのため被写界深度が確保で
きないような条件下でも、距離センサによって運転者ま
での距離が分かるからこれをオートフォーカス機構の制
御に用いることができる。これにより、角膜反射像や網
膜反射像など視線方向計測に必要な特徴点が確実に撮像
でき、高精度で信頼性の高い計測が行なわれる。

【００３９】図１０は本発明の第２の実施例の構成を示
すブロック図である。本実施例は、距離センサによる奥
行き距離計測の代わりに、両眼の２つの瞳孔中心間の距
離を利用して演算によって、カメラから運転者（顔面）
までの距離を計測するようにしたものである。前実施例
と同じく、運転者の顔面に向けてその眼球部を撮影する
カメラ２４が設けられるとともに、第１、第２の発散照
明２２、２３が設けられる。第１の発散照明２２は、カ
メラ２４と共軸系に配置され、人間に不可視な近赤外光
を照射する光源により運転者の顔面に向けて発散照明を
行なう。第２の発散照明２３は、第１の発散照明２２か
ら離間して相対関係が既知の所定の位置に、カメラ２４
と非共軸系に配置され、同様に人間に不可視な近赤外光
により運転者の顔面を照明する。

【００４０】カメラ２４はＡ／Ｄ変換器２７を経て画像
メモリ２８に接続されている。画像メモリ２８には網膜
反射像抽出部８０が接続され、これに瞳孔中心算出部８
１および角膜反射像抽出部３２が接続されている。本実
施例では瞳孔中心算出部８１と角膜中心算出部３６の間
に、奥行き情報計測部８５が接続されている。

【００４１】網膜反射像抽出部８０はカメラ２４で撮像
した入力画像データから運転者の両眼の一方および他方
にそれぞれ対応する第１網膜反射像領域および第２網膜
反射像領域を抽出する。瞳孔中心算出部８１は、第１、
第２網膜反射像領域の重心を算出して、第１瞳孔中心お
よび第２瞳孔中心を算出する。角膜反射像抽出部３２
は、第１、第２網膜反射像領域のうち所定のいずれか一
方、ここでは第１網膜反射像領域の近傍を探索して角膜
反射像を抽出する。

【００４２】瞳孔中心算出部８１には、第１瞳孔中心と
カメラ２４のレンズ焦点位置とを通る瞳孔直線を算出す
る瞳孔直線算出部３３が接続されている。また、角膜反
射像抽出部８２には、角膜反射像とカメラ２４のレンズ
焦点位置とを通る角膜反射像直線を算出する角膜反射像
直線算出部３４が接続されている。奥行き情報計測部８
５は、第１瞳孔中心と第２瞳孔中心との距離を基にカメ
ラ７４から運転者２１までの距離を算出する。

【００４３】角膜中心算出部３６には、角膜反射像直線
算出部３４と奥行き情報計測部８５とが接続されてお
り、角膜反射像直線とカメラ２４から運転者２１までの
距離とにより角膜球中心を算出する。瞳孔直線算出部３
３と角膜中心算出部８６とは視線方向算出部３７に接続
され、ここで瞳孔直線と角膜球中心位置より虹彩中心の
３次元位置を算出し、虹彩中心の位置と角膜球中心の位
置から運転者２１の視線方向を算出する。その他の構成
は第１の実施例と同じである。

【００４４】次に、本実施例における距離計測の原理に
ついて説明する。人間の両眼球の瞳孔中心間距離の平均
は、１８才以上の成人では、男性６３ｍｍ、女性６１ｍ
ｍといわれている（萩原朗、日本眼科全書７−４眼機能
の２、ｐｐ２７０〜２７２、金原出版）。したがって、
両眼ともカメラ２４の撮影画面内にあり、かつ両眼の網
膜反射像領域が抽出でき、その各領域の重心間距離が計
算できれば、撮影時の画角から、カメラ２４から運転者
までの距離を計算により求めることができる。

【００４５】図１１、図１２を用いて、計算手順を説明
する。図１１に示すように、運転者がカメラ２４の前方
約１ｍの距離にいるとし、その運転者の眼球が９０％ア
イレンジに存在するものとして、計測対象となる領域を
カメラ焦点位置Ｆから９２０ｍｍ〜１０８０ｍｍの範囲
とする。まず、運転者顔面の方向が被写体面に垂直な場
合について述べる。図１２に示すように、画面内にある
２つの瞳孔領域とその重心位置が求められたとすると、
両眼の瞳孔中心間隔の画面上の長さβドット（画素）が
求められる。一方、図１１のように、運転者が９０％ア
イレンジ内のカメラ焦点位置からＸｍｍの位置にいると
して、その位置で撮影されている全体の長さをＹｍｍと
すると、この長さは図１２に示すように、画面全体の長
さαドットに相当する。

【００４６】したがって、図１２の画面上で、画面全体
の長さαに対する瞳孔中心間隔の長さβは容易に求めら
れるから、瞳孔中心間隔を６２ｍｍとすると、 α（ドット）：β（ドット）＝Ｙ（ｍｍ）：６２（ｍｍ） …（１）また、カメラのレンズに焦点距離５０ｍｍのものを使用
したとき、図１１に示すように、ＣＣＤ面２４ａの撮像
素子サイズと焦点距離ｆの関係から、撮像素子サイズを
８．８ｍｍとするとＹ（ｍｍ）：Ｘ（ｍｍ）＝８．８（ｍｍ）：５０（ｍｍ） …（２）したがって、運転者顔面の方向が被写体面に垂直な場合
は、式（１）、（２）よりカメラ２４から運転者までの
距離Ｘが計算できる。

【００４７】画像中の視線がどちらを向いているかを検
出することは、顔面像中の目だけから判定することは難
しく、顔の向きの情報が必要となる。すなわち、運転者
顔面の方向は上下左右に回転する。このうち、上下方向
については、本実施例の計測原理にあっては大きな計測
誤差は発生しない。しかし、左右方向については顔面の
回転角を算出し、カメラ２４から運転者までの距離を補
正する必要がある。顔の回転角の計測方法については、
例えば「斜めに構えた顔の画像からの視線感知法」（青
山他、情報処理学会第３７回全国大会、１９８８年）の
方法を用いればよい。

【００４８】すなわち、顔面の被写体面から垂直な方向
からの回転角をθとすると、式（１）の数値６２を６２
×ｃｏｓθに置き換えた式（３）が得られる。 α（ドット）：β（ドット）＝Ｙ（ｍｍ）：６２×ｃｏｓθ（ｍｍ） …（３）したがって、予め顔面の回転角θを求めれば、（式
２）、（式３）により、カメラ２４から運転者までの距
離Ｘ（ｍｍ）は運転者顔面の上下左右の回転方向によら
ず容易に計算できる。

【００４９】次に、本実施例の制御動作を図１３〜図１
６のフローチャートにより説明する。ステップ３０１〜
ステップ３０５は第１の実施例の図６のフローチャート
のステップ２０１〜ステップ２０５と同じである。ステ
ップ３０５のあと、ステップ３０６で画像データＩ１
（ｘ，ｙ）と画像データＩ２（ｘ，ｙ）の差分処理を行
い、画像データＩ３（ｘ，ｙ）を作成する。この間、ス
テップ２０６〜２０７に相当するステップが無いが、こ
れは後述するように、カメラから運転者までの距離を後
行程で画像処理によって得ているためである。上記ステ
ップ３０６からステップ３１２までは、図６、図７のフ
ローチャートにおけるステップ２０８〜ステップ２１４
と同じである。これによって、運転者の一方の眼につい
ての網膜反射像領域（第１網膜反射像領域）が抽出され
る。

【００５０】ステップ３１３において、瞳孔中心算出部
８１で、この一方の瞳孔について、第１瞳孔領域の重心
（瞳孔中心）の算出を行う。ここでの処理内容は、図７
のフローチャートにおけるステップ２１５と同じであ
る。ステップ３１４では、ステップ３１３で得た第１瞳
孔中心位置を基にして、瞳孔直線算出部８３において、
第１瞳孔中心位置とカメラ２４の焦点位置を通る第１瞳
孔領域の瞳孔直線（第１瞳孔直線）を算出する。

【００５１】ステップ３１５では、他方の眼について、
第２網膜反射像探索領域の設定を行う。ここでの探索領
域の設定は、図１７に示すように、第１瞳孔の重心位置
Ｇ１より、画像上で左右両側に所定値Ｌだけ離れた位置
から、ｒ×ｓの領域を設定して行なう。なお、Ｌ、ｓ、
ｒの大きさは、予め設定しておく。また、探索領域設定
は、画面内で行うため、図２１の第１瞳孔重心の位置よ
り左側の領域のように、探索領域設定の結果、画面外と
なり、ｒ画素を確保できない場合には、ｒ′×ｓ画素、
（ただし、ｒ′＜ｒ）を探索領域とする。

【００５２】ステップ３１６では、ステップ３０９にお
いて作成され画像メモリ２８に記憶されているテーブル
上で、第１瞳孔領域の面積を０とする。これにより、以
降第２瞳孔領域の重心算出となる。ステップ３１７で
は、前記ｒ×ｓ領域中に含まれる最大の領域の面積につ
いて外接四角形を求め、その縦横の辺の長さを算出す
る。ステップ３１８では、外接四角形がｍ×ｎ領域内に
入っているか否かをチェックし、領域内であればステッ
プ３２０へ進み、領域内でないときはステップ３１９へ
進む。

【００５３】ステップ３１９では、対象とした領域の面
積を０としてステップ３１７へ戻り、次に面積の大きい
領域について、再度比較処理を行う。以上のステップ３
１５〜３１９は網膜反射像抽出部８０において行われ
る。ステップ３２０では、瞳孔中心算出部８１において
第２瞳孔領域の重心（第２瞳孔中心）の算出を行う。

【００５４】このあと、ステップ３２１で、運転者顔面
の左右端点を算出し、ステップ３２２で、運転者顔面の
回転角θを算出する。運転者顔面の左右端点の算出なら
びにその顔面の回転角θの算出方法については、例えば
「斜に構えた顔の画像からの視線感知法」（青山他、情
報処理学会第３７回全国大会、１９８８年）により知ら
れているので説明を省略する。ステップ３２３では、前
述の式（２）および式（３）を用いて、カメラ２４から
運転者２１までの距離を算出する。以上のステップ３２
１〜３２３は、奥行き情報計測部８５において行われ
る。

【００５５】続いて、ステップ３２４では、第１、第２
網膜反射像領域のうち所定のいずれか一方、例えば第１
網膜反射像領域近傍に角膜反射像探索のためのｐ×ｑ領
域を設定する。このステップ以降ステップ３３２までの
各ステップは、第１の実施例のフローチャートにおける
図８のステップ２１７〜ステップ２２５と同じである。
ステップ３０２〜３０５が、発明の画像入力手段を構成
している。また、上記のステップ３０６〜３１３、およ
びステップ３１５〜３２０、３２４、３２５が発明の瞳
孔および角膜反射像抽出手段を構成し、ステップ３１４
が瞳孔直線算出手段を、ステップ３２６が角膜反射像直
線算出手段をそれぞれ構成している。そして、ステップ
３２１〜３２３が奥行き情報抽出手段を、ステップ３２
７が角膜球中心算出手段を、ステップ３２８、３２９が
視線方向算出手段を構成している。

【００５６】本実施例は以上のように構成され、カメラ
から運転者までの奥行き距離を角膜球中心の算出に用い
るので、第１の実施例と同様に、演算処理が大幅に高速
化され、また、高精度で信頼性の高い計測が行なわれる
という効果を有する。さらに本実施例では、上記奥行き
距離を画面上から求めた瞳孔中心間隔の長さに基づいて
算出するようにしたので、車室内に距離センサなどを設
置する必要がないという利点を有する。この際にも上記
奥行き距離の算出は極めて簡単な計算によるから、演算
処理の速度に何等影響を与えない。

【００５７】

【発明の効果】以上のとおり、本発明は、画像デ−タか
ら網膜反射像を抽出して瞳孔中心を算出するとともに角
膜反射像を抽出し、撮像装置の焦点位置と瞳孔中心とを
通る瞳孔直線、ならびに同じく撮像装置の焦点位置と角
膜反射像とを通る角膜反射像直線を算出する一方、撮像
装置から運転者の顔面までの距離を求める奥行き情報抽
出手段を有して、角膜反射像直線と顔面までの奥行き距
離から角膜球の中心位置を算出して、この角膜球の中心
位置と先の瞳孔直線とから運転者の視線方向を算出する
ようにしたので、角膜球中心の３次元位置を求める際の
演算量が大幅に低減され、これにより、処理が大幅に高
速化されるという効果を有する。

【００５８】そして、奥行き情報抽出手段として距離セ
ンサを用いる場合には、瞳孔中心や角膜反射像を求める
処理と並行して運転者の顔面までの距離を求めることが
できるから、とくに高速の演算処理ができる。また、両
眼の２つの瞳孔中心間の距離を利用して演算することに
より、演算処理の速度にほとんど影響を与えないで、カ
メラから運転者（顔面）までの奥行き距離が求められ、
独立の距離センサを省くことができる。

【図面の簡単な説明】

【図１】発明の構成を示すブロック図である。

【図２】本発明を車両の視線スイッチに適用した第１の
実施例の構成を示すブロック図である。

【図３】実施例装置のレイアウトを示す図である。

【図４】眼球を外部から照射したときの反射像の生成状
態を示す説明図である。

【図５】眼球の構成をモデル化した図である。

【図６】実施例の制御動作を示すフローチャートであ
る。

【図７】実施例の制御動作を示すフローチャートであ
る。

【図８】実施例の制御動作を示すフローチャートであ
る。

【図９】角膜反射像の探索領域を示す説明図である。

【図１０】本発明の第２の実施例の構成を示すブロック
図である。

【図１１】瞳孔中心間距離を用いた奥行き距離計測の原
理を説明する図である。

【図１２】画像中に撮影される瞳孔中心間隔の画面全体
に対する割合を説明する図である。

【図１３】第２の実施例の制御動作を示すフローチャー
トである。

【図１４】第２の実施例の制御動作を示すフローチャー
トである。

【図１５】第２の実施例の制御動作を示すフローチャー
トである。

【図１６】第２の実施例の制御動作を示すフローチャー
トである。

【図１７】第２網膜反射像探索領域の設定要領を示す説
明図である。

【符号の説明】

１画像入力手段２照明３撮像装置４角膜反射像抽出手段５瞳孔直線算出手段６角膜反射像直線算出手段７奥行き情報抽出手段８角膜球中心算出手段９視線方向算出手段２１運転者２２第１の発散照明２３第２の発散照明２４カメラ２５照明発光制御部２６全体制御部２７Ａ／Ｄ変換器２８画像メモリ３０網膜反射像抽出部３１瞳孔中心算出部３２角膜反射像抽出部３３瞳孔直線算出部３４角膜反射像直線算出部３５距離センサ３６角膜中心算出部３７視線方向算出部３８視線スイッチエリア３９停留判断部４０コントローラ切り替え部４１オーディオコントローラ４２エアコンコントローラ４３ラジオコントローラ４４ＡＳＣＤ（定速走行装置）コントローラ４５ＨＵＤ表示制御部４６ＨＵＤ表示部４７ステアリングスイッチ４８メインスイッチ４９ステアリングハンドル５０ウィンドシールド８０網膜反射像抽出部８１瞳孔中心算出部８５奥行き情報計測部

Claims

【特許請求の範囲】

【請求項１】空間的に互いに異なる位置に配置され、
運転者の顔面を不可視光により照射する複数の照明と、
該複数の照明の１つの光源と光軸を一致させて設けら
れ、前記運転者の眼球からの反射像を撮像する撮像装置
を備えて各照明毎の画像デ−タを得る画像入力手段と、
前記画像デ−タから網膜反射像を抽出して瞳孔中心を算
出するとともに、角膜反射像を抽出する瞳孔および角膜
反射像抽出手段と、前記算出された瞳孔中心と前記撮像
装置の焦点位置とを通る瞳孔直線を算出する瞳孔直線算
出手段と、前記抽出された角膜反射像と撮像装置の焦点
位置とを通る角膜反射像直線を算出する角膜反射像直線
算出手段と、前記撮像装置から運転者の顔面までの距離
を求める奥行き情報抽出手段と、前記角膜反射像直線算
出手段で求めた角膜反射像直線と奥行き情報抽出手段で
求めた撮像装置から顔面までの距離とから角膜球の中心
位置を算出する角膜球中心算出手段と、前記瞳孔直線と
角膜球の中心位置とから運転者の視線方向を算出する視
線方向算出手段とを有することを特徴とする車両用視線
方向計測装置。
【請求項２】前記奥行き情報抽出手段が、前記画像入
力手段の撮像装置の近傍に設置された距離センサである
ことを特徴とする請求項１記載の車両用視線方向計測装
置。
【請求項３】前記奥行き情報抽出手段が、前記瞳孔お
よび角膜反射像抽出手段で算出された両眼の瞳孔中心間
の間隔を基に前記撮像装置から運転者の顔面までの距離
を算出するものであることを特徴とする請求項１記載の
車両用視線方向計測装置。