JPH02138673A - 瞳孔画像撮影装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は画像撮影装置に関する。より特定的には、こ
の発明はヒユーマンインタフェース、知的画像通信など
の分野で人物の動き、視線の動きを効率的に利用でき、
照明装置を用いて撮影対象の特徴を抽出しやすくするた
めの画像撮影装置に関する。

［従来の技術］ 近年、コンピュータはその進歩により複雑かつ豊富な機
能を実現できるようになり、適用範囲が増々拡がりつつ
ある。一方、その利用者も専門家から非専門家に範囲を
拡げつつある。ここに、より複雑化するシステムをより
簡単に使用できるようにするヒユーマンインタフェース
の技術が重要になる。人間同士のコミュニケーションで
は言葉だけでなく表情や仕華から相手の意思を推測する
ことによって円滑な対話が行なわれており、特に眼の動
きは意思疎通の重要な役割を果たしている。

すなわち、視点の動きには人の意図が大きく反映される
と考えられる。コンピュータや通信システムインタフェ
ースでは利用者は何らかの表示装置に長い時間向かい合
うことになるため、表示装置の画面上の視点の動きを常
時検出できれば、利用者の意図を抽出する大きな手掛り
になると考えられる。端的には利用者がどこを見ている
のか、その先には、何に関心があるのか、迷いは何かな
どである。

そこで、本願発明者らは、利用者の操作意図を汲取り、
柔軟な応答を返すインタフェース機能を実現すること、
さらに知的通信の分野において、受信者の視線の動きか
ら受信者の関心のある視対象を抽出し、送信側にフィー
ドバックすることにより、臨場感のある受手主体の画像
通信を実現することなどを狙いとして、視線の効率的な
検出方法の重要性を指摘してきた。

上述のような視線を検出する装置として、従来よりアイ
カメラが知られている。しかしながら、アイカメラは、
眼鏡を装着しなければならず、利用者が相対しているデ
イスプレィの座標系で視点を求めるためには頭部を固定
する必要があるなどの制約があるため、視線をインタフ
ェースや画像通信に利用する目的には必ずしも向いてい
ない。

すなわち、人に特別な物を装着させることなく、非接触
で視線を検出するためには、画像処理によって検出する
方法の方が有利である。

第２３図は非接触視線検出装置の構造として考えられる
一例を示す図である。第２３図を参照して、デイスプレ
ィ１の両側にはカメラ２，３と照明装置４．５とが設け
られている。このような非接触視線検出装置において、
第１の課題は照明装置４．５で照明された利用者の画像
をカメラ２゜３により撮影し、撮影された画像から視線
検出に必要な複数の特徴点を抽出することにある。第２
の課題は、それらの特徴点の空間位置を高速、高精度で
計測することである。第３の課題は、特徴点の位置から
視線の方向およびデイスプレィ上の注視点位置を求める
ことである。

人物の動き、特に視線の動きは高速なため、これに追従
して動きを正確に検出するためには、まず明瞭な画像を
撮影し、簡単な画像処理で特徴点を抽出できるようにす
る必要がある。しかし、実際の室内では、利用者に対し
てデイスプレィからの光の放射があり、さらに螢光灯な
ど外部照明の影響もあるので利用者の照明条件が変化す
る。したがって、常に安定な画像が得られるとは限らな
い。入力画像の質が悪ければ、雑音除去などに時間がか
かり、高速化が不可能である。

これを解決するための手段として、撮影対象である人物
に照明を当てる方法が考えられるが、この方法には以下
の問題点がある。すなわち、１つの問題は自然なインタ
フェース環境を得るのが困難である。すなわち、照明装
置としては、従来、白熱ランプ、キセノンランプ、ハロ
ゲンランプなどがよく知られているが、これらは波長域
が広く可視域を中心に分布するため、この光で利用者を
前方から照射する方法は、自然なインタフェースの点か
ら適さない。

第２の問題点は装置の大型化および発熱化の聞届である
。すなわち、インタフェースに使用する状況を考慮し、
従来の照明装置の照明条件を改善しようとすれば、照明
源の先にバンドパスフィルタや偏光板などの光学部品を
取付ける必要がある。

たとえば、人に知覚されない近赤外の照明を利用し、こ
の反射光を捕える場合を考えると、可視光を遮断する必
要がある。しかし、上述の従来から知られた照明装置は
発光の効率が悪く、発熱量が大きいために周囲の温度が
上昇してしまう。このため、光源と光学素子を一体化す
るなどして小型にすることができず、したがって、照明
装置は大型のものを使用せざるを得ない。

次に、照明は使用方法によっては、明瞭な画像が得られ
、特徴点抽出に効果があるが、反面、目的に合った使用
方法をとらなければ雑音源になり、逆効果となる。人物
または眼球の特徴点を抽出する場合を例にとって詳しく
説明する。

第２４図は従来の照明装置と撮影装置を用いて人物の顔
に合った青色のマークを特徴点としてこれを抽出する実
験を行なった例を示す図であり、第２５Ａ図および第２
５Ｂ図は第２４図に示した実験によって顔の特徴点を抽
出した例を示す図である。

人物の顔には第２５Ａ図に示すように、４箇所に青色の
マーカ６が貼られている。第２４図に示した照明装置８
から撮影対象１０に参照光９を照射し、その反射光をカ
メラ１３で捕えて撮影した画像から青色成分を抽出し、
２値化処理した結果が第２５Ｂ図に示す画像である。第
２５Ｂ図から明らかなように、青色マーク６の他に雑音
成分７が捉えられており、問題のあることがわかる。こ
の原因は以下のように考えられる。すなわち、撮影対象
１０に参照光９を照射したとき、反射する光は大きく２
種類の成分に分けられる。一方は、撮影対象１０の表面
で拡散反射する光１１であり、反射する材質の光学的性
質を反映している。したがって、視線検出などに必要な
特徴点のうち、後述の角膜反射像を除いて、顔の要素（
口、まつ毛。

目もと、目尻、鼻など）および瞳孔などの特徴点抽出に
おいて有益な成分である。他方は、撮影対象１０の表面
で正反射する成分１２であり、光源の光学的性質をその
まま反映している。すなわち、撮影対象１０の性質を反
映していない成分であるため雑音となりやすい。後者は
撮影対象１０のなめらかな部分に多く含まれる。具体的
には、撮影対象が人物の場合、顔に付いた汗の部分、眼
鏡の縁、眼鏡レンズ、人物の周囲にあるプラスチックや
ガラスなどの構造物がこれに当たる。第２５Ｂ図に示し
た例では、雑音７は汗の箇所である。

第２５Ａ図および第２５Ｂ図に示した例では、顔に貼っ
た青色のマークを抽出する場合を述べたが、他の色のマ
ークを用い、この色成分を抽出する場合も同様である。

また、マークを用いることなく、自然画像から目、鼻１
口、まつ毛などの各部分を抽出する場合でも、正反射成
分１２は雑音となることが多い。さらにマークを用いな
いで人物の顔の形状を検出する他の例として、モアレ法
。

光切断法に代表されるように、予め制御された形状パタ
ーンを撮影対象に照射し、この反射像から２値化像（反
射パターン）を抽出し、この反射パターンの形を特徴と
して、撮影対象の３次元形状を計１ｌＦ１するいわゆる
アクティブステレオビジョンがあるが、この方法におい
ても、撮影対象が正反射しやすい場合には、この正反射
によって作られる像が雑音となり、撮影対象の特徴であ
る反射パターンの抽出に支障のあることが多い。

次に、従来の照明装置の配置と瞳孔特徴点抽出効率に関
する問題点について説明する。利用者には何も装着せず
に利用者の視線を非接触で検出するには、後述するよう
に複数の特徴点を画像処理により抽出する必要がある。

瞳孔は虹彩の開口部である。瞳孔は大きさが適当で、瞼
の影響を受けに＜＜、視線への変換にも便利であるため
、適当な抽出法があれば、適用性の広い特徴点といえる
。

しかし、瞳孔は一般に黒く観察されるため、虹彩が黒褐
色の場合、これを区別して瞳孔だけを抽出する必要があ
る。

瞳孔の抽出はアイカメラなどでも例があり、いくつかの
方法が知られており、たとえばＵＳＰ４゜１０２．５６
４、ＵＳＰ４，１４５，１２２、ＵＳＰ３，６８９，１
３５、ＵＳＰ４，０７５，６５７、ＵＳＰ４．　７５５
．　０４５、ＵＳＰ４．　３０３、　３９４、ＵＳＰ４
．　６５１．　１４５、ＵＳＰ４，７０２，５７５など
に記載されている。ある種のアイカメラでは、眼鏡に光
源を組込んで眼球に光を照射し、この反射光を撮影し、
瞳孔と虹彩の反射光の強度を測定する方法を用いている
。

アイカメラのように装置を頭に装着して使用する場合は
、照明装置と撮影装置の距離が近く、かつ頭部の動きに
連動するため、照明装置は眼球だけを照明すればよ（、
また撮影装置は眼球だけを撮影すればよい。つまり、雑
音の影響を受けにくく、したがって瞳孔と虹彩の反射光
の強度差のみでも瞳孔の抽出が可能である。

しかし、インタフェースへの利用を考えた視線検出では
、上述のように非接触である必要から、撮影範囲は眼球
部分だけではなく、頭の動きを許容する広い範囲が望ま
れる。たとえば、顔全体を撮影した画像から、瞳孔を抽
出する必要がある。

このような場合、前述の方法では、瞳孔部分は背景雑音
から分離することは困難である。

第２６図は瞳孔の他の抽出法として、瞳孔から光を入射
し、網膜で反射する光を捉える方法を示す図である。第
２６図を参照して、カメラ２０の撮影レンズ２１の光軸
２２上にハーフミラ−２３が設けられ、このハーフミラ
−２３を用いて光軸を合わせるように従来の照明装置２
４が配置される。なお、１つの光源を用いた照明装置で
瞳孔内の反射強度分布が均一であるように、つまり、強
度分布の偏りが少ないような瞳孔画像を得るためには、
このようなハーフミラ−２３を用いるのは不可欠である
。

照明装置２４の前方には可視遮断フィルタ２５が配置さ
れ、この可視遮断フィルタ２５によって照明装置２４か
らの光のうち可視波長成分が遮断され、ハーフミラ−２
３でレンズ２１の光軸２２に一致され、人物２６に照射
される。この光は人物２６の瞳孔から入り、網膜で反射
し、再びハーフミラ−２３を通過してカメラ２０によっ
て捉えられる。したがって、瞳孔が虹彩に対して明るく
撮影される。

［発明が解決しようとする課題］ しかしながら、第２６図に示した方法では、以下のよう
な問題がある。すなわち、ハーフミラ−２３を用いてい
るため装置が大型になる。撮影範囲が眼球周辺でなく、
たとえば顔全体というように広がる場合、この方法でも
同様に雑音の影響が大きくなり、安定な瞳孔抽出が困難
となる。雑音の影響を少なくするためには、照明を強く
することも考えられるが、可視遮断フィルタ２５によっ
て光量が落ち、ハーフミラ−２３でさらに１／２に減少
されて照射され、反射光がハーフミラ−２３でさらに１
／２に減少するため、照明装置２４の光がカメラ２０で
捉えられる間の損失が大きく、効率が悪い。照明を強く
すれば、消費電力が大きくなり、発熱二も大きくなって
しまう。この影響を少なくするためには、各部品を離し
て実装する工夫も必要であり、装置がさらに大型化する
。また、照明を強くすることは利用者の眼に生理的負担
を与えてしまい望ましくない。したがって、この方法も
視線検出用カメラをデイスプレィの横に取付けてインタ
フェースへ利用するような目的には適さない。

角膜反射像は眼球に光を照射したとき、角膜の凸面で正
反射した光が作る虚像であり、視線の動きにほぼ比例し
て眼球と同じ方向に動くため、視線検出に有効な特徴点
である。抽出の問題点は、背景雑音からの分離である。

第２７図は角膜反射像をカメラで撮影する装置の一例を
示す図である。第２７図を参照して、参照光源３１から
の光が利用者３０の目に照射されると、視線検出に必要
な角膜反射像がカメラ３２によって撮影される。しかし
、利用者３０の目には参照光源３１からの光だけでなく
、利用者が相対しているデイスプレィ３３の表示面から
の光や螢光灯などの外部照明３４からの光も光源となり
、これらの光が角膜で反射して虚像を作る。したがって
、カメラで捉えた画像において、眼球の中には、いくつ
もの角膜反射像が発生し、それが雑音となるため、参照
光源３１からの光による角膜反射像の抽出を困難にする
。

人物や眼球など、動きのある対象を撮影する場合、ぶれ
のない画像を得るためには、撮影時間は短い方がよい。

このために、最近では電子シャッタ付カメラが実用化さ
れている。撮影時間が短いこのようなカメラでは、強い
照明が必要とされる。

しかし、インタフェースにおいて、人物の照明に従来の
照明装置を用いることを考えると、熱や強い光で長い時
間照射されるため、眼球や生体に与える影響が問題とな
る。

一方、特徴点の空間位置の計δ−１については、ステレ
オ画像計測法が知られているが、従来特徴点の抽出が上
述のごとく困難であったため、インタフェースへの使用
をふまえて顔や眼球の特徴点の空間位置をリアルタイム
で計測した検討例はない。

画像処理による視線検出について、従来、いくつかの方
法が提案されている。しかし、いずれも特徴点の効率的
な抽出が困難なこと、空間位置の高速な検出が困難なこ
となどの理由から、視線検出に多くの条件を設けており
、適用範囲が限定される場合が多い。構成としては、１
台の白黒カメラを用いる方式が多い。その−例について
以下に説明する。

第２８図は撮影された画像上で、白眼の中の黒眼の位置
を検出し、視線に変換する方法を説明するための図であ
る。第２８図を参照して、人物の顔がカメラ４１によっ
て撮影され、撮影された顔画像から眼の部分４２が抽出
され、目の中の黒眼４３と白眼４４の領域が分離される
。次に、白眼４４の領域の長さａと、白眼４４の端から
黒眼４３の中心までの長さＸが求められる。視線の方向
は近似的にＸ／ａに比例するとして求められる。

白眼４４．黒眼４３の領域の抽出処理は高速化が難しい
ため、リアルタイム検出は実現されていない。この方法
では、顔の位置と方向を何らかの方法で求めない限り、
自由度は眼球の回転運動だけに制限される。さらに、眼
球の回転運動についても、目の大きさは表情によって変
化するため、高い検出精度は得られない。特に、上下の
眼の動きについては、黒眼４３の領域が瞼の影響で変化
するため、検出が困難である。

第２９図は瞳孔と角膜反射像を特徴点として用い、１台
のカメラで検出する方法を説明するための図である。第
７図を参照して、参照光源５１の位置はカメラ５０の座
標系に対して既知とする。

参照光源５１から、の参照光によって生じる角膜反射像
５３の空間位置および瞳孔５４の空間位置は眼球５２の
回転中心の位置と、眼球の上下、左右の回転角α、βに
よりそれぞれ独立に決まる。したがって、角膜反射像の
位置と、瞳孔５４の位置と、眼球５２の構造パラメータ
である眼球の半径ａと、角膜の曲率半径Ｃと、眼球中心
と角膜曲率中心との間の距離すとがわかれば、眼球５２
の回転中心と眼球５２の回転角が決まり、したがって視
線が求められる。角膜反射像５３と瞳孔５４の位置は、
カメラ５０から眼球５２までの距離がほぼ一定とする条
件を設ければ、１枚の投影画像から求めることができる
。このようにして、眼球５２の左右の回転角αおよび上
下の回転角βに対して視線を求めることができるが、上
述の制約条件から顔が２軸方向に動くと精度が悪くなる
という欠点がある。

また、上述の第２８図および第２９図に示した例はカメ
ラが１台であるため、注視点を求める難しさもある。上
述のいずれかの方法をインタフェースに利用する場合、
デイスプレィのどこを見ているかを知る必要があり、し
たがってデイスプレィ座標系で注視点を求める必要があ
る。デイスプレィ座標系で利用者がどこを見ているかを
知るためには、デイスプレィ表示面の予め定められた点
を利用者に見てもらい、そのデータをもとに較正する必
要がある。しかし、カメラが１台の場合、この較正パラ
メータが多くなるため、較正の方法が複雑になり、精度
が悪くなってしまう。

それゆえに、この発明の主たる目的は、人物の動き、視
線の動きを画像処理により検出する際に必要な特徴点の
抽出を効率的に行なえるような画像撮影装置を提供する
ことである。

この発明の他の目的は、利用者の眼に知覚されず、発熱
が少なく、小型で圧迫感を少なくし得て、利用者に生理
的、心理的違和感を与えないような照明を用いた画像撮
影装置を提供することである。

さらに、この発明の他の目的は、撮影対象に照明を当て
たとき、その反射光の中から正反射成分を雑音として除
去し、撮影対象の瞳孔や黒眼などの特徴部分からの拡散
反射成分を効率良く抽出できるような画像撮影装置を提
供することである。

さらに、この発明の他の目的は、背景に対して瞳孔部分
のＳ／Ｎを上げることにより、２値化処理を容易にして
、抽出の効率を上げることのできるような画像撮影装置
を提供することである。

さらに、この発明の他の目的は、参照光を撮影対象に照
射したときに正反射成分を効率良く抽出して、角膜反射
像を生成できるような画像撮影装置を提供することであ
る。

［課題を解決するための手段］ 第１請求項にかかる発明は撮影対象の画像の特徴を抽出
する画像撮像装置であって、撮像対象に偏光を照射する
照明手段と、照明手段によって撮影対象に照射された偏
光のうちの反射光を結像するための光学系と、光学系の
結像光軸上に設けられ、反射光の中から正反射成分を遮
断し、拡散反射成分を抽出する偏光素子と、結像点に設
けられ、偏光素子によって抽出された拡散反射成分を検
出する像検出手段とによって構成される。

第２請求項にかかる発明は、第１請求項にかかる発明の
光学系が、撮影対象からの反射光を第１および第２の光
路に分離してそれぞれを結像するための光分離手段を含
み、偏光素子は光分離手段の第１の光路の光軸上に設け
られる素子を含み、像検出手段は光分離手段の第１の光
路の光軸上に設けられ、偏光素子によって抽出された拡
散反射成分を検出する第１の手段と、光分離手段の第２
の光路の光軸上に設けられ、反射光の中から正反射成分
と拡散反射成分とを検出する第２の手段を含み、さらに
第１および第２の手段の検出出力に応答して差分像を生
成する画像処理手段を含んで構成される。

第３請求項にかかる発明では、第１請求項にかかる発明
の照明手段は、光学系の光軸の周囲に設けられ、それぞ
れが第１の波長の光を撮影対象に照射する第１の光源と
、第１の光源の光出射面に設けられる第１の偏光素子と
、光学系の光軸から離れた位置に設けられ、第２の波長
の光を撮影対象に照射する第２の光源と、第２の光源の
光出射面に設けられる第２の偏光素子を含んで構成され
る。

第４請求項にかかる発明は、撮影対象の画像の特徴を抽
出する画像撮像装置であって、撮像対象を撮影するため
の撮影レンズと、撮影レンズの光軸周辺に設けられた複
数の光源を含み、各光源はそれぞれの光源と撮影対象を
結ぶ線分と、撮影レンズの中心と、撮影対象を結ぶ線分
とのなす角が所定の値θｔｈより小さくなるように配置
される照明手段と、撮影レンズを通過した撮影対象から
の反射光を結像するための光学系と、光学系の結像点に
設けられ、結像された像を検出する像検出手段を備えて
構成される。

第５請求項にかかる発明は、第４請求項にかかる発明の
複数の光源が発光ダイオードを含んで構成される。

第６請求項にかかる発明は、撮影対象の画像の特徴を抽
出する画像撮影装置であって、撮影対象を撮影するため
の撮影レンズと、撮影レンズの光軸周辺に設けられた複
数の光源を含み、各光源と撮影対象とを結ぶ線分と、撮
影レンズの中心と撮影対象とを結ぶ線分とのなす角が所
定の値θｔｈ、より小さくなるように配置された第１の
照明手段と、レンズの光軸から所定距離隔てて設けられ
た光源を含み、その光源と撮影対象を結ぶ線分と、レン
ズの中心と撮影対象とを結ぶ線分とのなす角が所定の値
θｔｈｚより大きくなるように配置された第２の照明手
段と、第１の照明手段による撮影対象からの反射光と、
第２の照明手段による撮影対象からの反射光とを分離し
て結像させるための光学系と、光学系の結像点に設けら
れ、結像された像を検出する像検出手段を備えて構成さ
れる。

第７請求項にかかる発明は、発光ダイオードを有する照
明手段と、発光ダイオードをオン、オフする駆動手段と
、撮影対象からの反射光を結像するための光学系と、光
学系の結像点に設けられ、結像された像を検出する像検
出手段とを備え、駆動手段は、必要に応じて像検出手段
の検出タイミングに同期して発光ダイオードを間欠的に
駆動するように構成される。

［作用］ 第１請求項にかかる発明は、照明手段によって撮影対象
に偏光が照射され、撮影対象からの反射光が光学系によ
って結像され、偏光素子によって反射光の中から正反射
成分が遮断されて拡散反射成分が抽出され、像検出手段
によって拡散反射成分が検出される。

第２請求項にかかる発明は、撮影対象からの反射光が光
分離手段によって分離され、分離された第１の光路の光
は偏光素子によって偏光され、第１の手段によって拡散
反射成分が抽出され、第２の手段によって正反射成分と
拡散反射成分とが検出され、それぞれの差分像が形成さ
れる。

第３請求項にかかる発明は、第１の光源から第１の偏光
素子を介して第１の波長の光が撮影対象に照射され、光
軸から離れた位置に設けられた第２の光源から第２の偏
光素子を介して第２の波長の光が撮影対象に照射される
。

第４請求項にかかる発明は、撮影レンズの光軸周辺に設
けられた光源からの反射光がレンズを介して光学系によ
って検出され、像検出手段によって結像された像が検出
される。

第５請求項にかかる発明は、発光ダイオードによって光
が照射される。

第６請求項にかかる発明は、撮影レンズの光軸周辺に設
けられた複数の光源からなる第１の照明手段による撮影
対象からの反射光と、撮影レンズの光軸から所定距離以
上隔てて配置された第２の照明手段による撮影対象から
の反射光が分離されて結像され、結像された像が検出さ
れる。

第７請求項にかかる発明は、発光ダイオードが間欠的に
駆動され、その反射光が光学系によって結像され、結像
された像が検出される。

［発明の実施例］ 第１図はこの発明の詳細な説明するための図であり、第
２図は視線検出に必要な特徴点のＰＩｔ類とその性質を
示す図である。

まず、第１図および第２図を参照して、この発明の概念
について説明する。カメラ６０によって顔画像が撮影さ
れ、カメラ６０の出力である画像信号から頭部を反映す
る特徴点と眼の特徴点とが抽出される。頭部を反映する
特徴点は、第２図に示すように、目尻、目頭、唇などが
それぞれ色の差によって検出が可能である。目の特徴点
は角膜反射像と黒眼と瞳孔であり、角膜反射像は角膜の
凸面で正反射した光が作る虚像であり、視線の動きにほ
ぼ比例して眼球と同じ方向に動くという性質がある。黒
眼は虹彩と強膜の反射強度差により観測され、参照光を
用いなくとも室内の照明で抽出できるという性質がある
。瞳孔は虹彩とこの開口部における網膜からの反射光の
強度差により観測され、瞼の影響を受けにくいという性
質がある。

抽出された頭部を反映する特徴点から頭部の位置と方向
が検出され、その結果は眼球中心位置に変換される。一
方、抽出された眼の特徴点から瞳孔または黒眼の中心が
検出され、その結果と変換された眼球中心位置とに応答
しで、視線の方向が検出される。

さらに、頭部のモデル化が行なわれる。このモデル化は
、頭上の皮膚の動きの少ない少なくとも３つの顔の特徴
点によって行なわれ、各類の特徴点の位置から頭部の位
置と方向が検出される。

また、頭部のモデル化は、頭上の少なくとも４つ以上の
顔の特徴点の位置から頭部骨格に対して動きの少ない少
なくとも３つの仮想特徴点が求められ、その仮想特徴点
の位置から頭部の位置と方向が検出される。

さらに、眼鏡のフレーム枠の周囲の少なくとも３箇所に
特徴抽出が容易なマーク物体が設けられ、その眼鏡を装
置することにより、頭部がマーク物体でモデル化され、
マーク物体の位置から頭部の位置と方向が検出される。

第３図はこの発明の画像撮影装置の一実施例を示す図で
あり、第４図は第３図に示した撮影レンズの前方から見
た図であり、第５図は側面から見た図である。

第３図を参照して、カメラユニット６０の前方には照明
装置６１とレンズ６５が配置される。照明装置６１は第
４図に示すように、レンズの周囲に配置される発光ダイ
オード６６を含む。発光ダイオード６６の前方には直線
偏光板６３が配置され、レンズ６５の前方には可視遮断
フィルタ６８が配置される。直線偏光板６３は発光ダイ
オード６６の光を偏光化し、再現遮断フィルタ６８は螢
光灯などの外部照明から出る可視光を遮断する。

さらに、レンズ６５の光軸から離れた位置に照明装置６
２が配置される。この照明装置６２は発光ダイオード６
４とその前方に設けられる直線偏光板６７を含む。

カメラユニット６０は、３個のブリスム６０７６０８お
よび６０９を含み、プリズム６０７と６０８との間には
波長分離面６１０が形成されていて、プリズム６０８と
６０９との間にはハーフミラ−６１１が配置されている
。さらに、プリズム６０７の光出射面に対向して偏光板
６１５とＣＣＤ撮像素子６１２が配置され、プリズム６
０８の光の出射面にはＣＣＤ撮像素子６１４が配置され
、プリズム６０９の光の出射面にはｆ偏光板６１６とＣ
ＣＤ撮像素子６１３が配置される。偏光板６１５および
６１６は照明装置６１．６２の前方に設けられている直
線偏光板６３．６７に対して偏光面が直交している。Ｃ
ＣＤ撮像素子６１３および６１４の出力は差分側１象演
算手段６１７に与えられて角膜反射像が抽出される。Ｃ
ＣＤ撮像素子６１２および６１３の出力は差分演算手段
６１８に与えられて瞳孔が抽出される。

第６図はこの発明の一実施例に用いられる光学部品の光
学的性質を示す特性図である。第３図に示した照明装置
６１．６２に用いられる発光ダイオード６４．６６は人
の眼に知覚されない近赤外のものが用いられる。この実
施例では、発光ダイオード６４は波長λ１が８５０ｎｍ
であり、発光ダイオード６６は波長λ２が９５０ｎｍの
ものが用いられる。これらの発光ダイオード６４．６６
の波長特性は第６図に示す■、■であり、レンズ６５の
前方に設けられる可視遮断フィルタ６８の特性は第６図
の■であり、ＣＣＤ６１２，６１３および６１４の感応
特性は第６図に示す■のようになる。第６図から明らか
なように、発光ダイオード６４．６６は波長の半値幅が
狭いため、中心波長が１１００ｎ程度離れたものを用い
れば、それぞれの発光ダイオード６４．６６から発光さ
れる２つの光は干渉しない。また、この波長では、日の
眼にはほとんど知覚されない。もし、人の眼に知覚され
るようであれば、発光波長をさらに長波長側に移しても
い。また、シリコンのＣＣＤ撮像索子６１２，６１３，
６１４は、第６図に示すように、この波長域で十分な感
応特性がある。

第７図は発光ダイオードと偏光板を一体化して照明装置
とした例を示す外観斜視図である。第７図を参照して、
パ板７】には発光ダイオード７２が実装され、基板７１
にはスペーサ７３を介して一定の距離を隔てて光学素子
取付用のフレーム７４が取付けられている。このフレー
ム７４には、偏光板や可視遮断・近赤外透過フィルタな
どの光学素子７５が取付けられている。さらに、基板７
１と光学素子７５にはカメラレンズ用の孔が形成されて
いて、これらの２つの孔を連結するために筒７６が設け
られる。

上述のごとく、第７図に示した例では、光学素子７５の
周囲をフレーム７４で覆うことにより機械的強度を増し
、光学素子７５の歪などを防止できる。この構造を光学
素子７５の屈折率の異方性があり、波長によって特性が
変化する場合には特に重要である。すなわち、曲げなど
の歪が加わると、所定の参照光が得られない場合がある
からである。また、筒７６は発光ダイオード７２から照
射された参照光が直接レンズに入射するのを防止する。

すなわち、この筒７６によって参照光と反射光とが分離
される。

次に、第゛う図を参照して、この発明の一実施例の動作
について説明する。照明装置６］、６２の発光ダイオー
ド６４．６６でそれぞれ発光された光は偏光板６７．６
３によってそれぞれ偏光され、人物に照射され、その反
射光は可視遮断フィルタ６８からレンズ６５を介してプ
リズム６０７に入射される。ここで、波長λ２　（９５
０ｍｍ）の光は波長分離膜６１０によって分離され、偏
光板６１５を介してＣＣＤ撮像素子６１２に入射され、
像を結像する。仮に、照明装置６２による照明の偏光を
横方向とすると、偏光板６１５の偏光方向を９０°ずら
して縦方向とすることにより、ＣＣＤ撮像素子６１２の
感光面には正反射成分が遮断された像、すなわち拡散反
射成分の像が結像される。正反射は撮影対象のなめらか
な面で起きるため、正反射成分は光源の光学的性質を強
く保っている。

一方、拡散反射成分は、撮影対象の吸収・反射特性によ
って変調を受けており、顔の特徴点や瞳孔、黒眼などの
抽出には、雑音を抑えかつＳ／Ｎを改善する点から拡散
反射像を用いるのが好ましい。一方、波長λ１の反射光
は可視遮断フィルタ６８、レンズ６５およびプリズム６
０７を通過し、プリズム６０８と６０９との界面に設け
られたハーフミラ−６１１で分割される。分割された一
方の光は偏光板６１６を介してＣＣＤ撮像素子６１３に
入射されて像を結像し、他方の光はそのままＣＣＤ撮像
素子６１４に入射され、像を結像する。

したがって、ＣＣＤ撮像素子６１４の出力像には、正反
射成分と拡散反射成分との両方の成分が含まれ、ＣＣＤ
撮像素子６１３の出力像には、拡散反射成分だけが含ま
れる。なお、偏光板６１５，６１６を通過した光は強度
が１／２になるため、ハーフミラ−６１１では分割比を
１対２にし、ＣＣＤ撮像素子６１３と６１４の像の強度
がほぼ同程度になるようにしている。

第８Ａ図はこの発明の一実施例により撮影した拡散反射
像を示す図であり、第８Ｂ図は特徴点抽出の効果を示す
図である。この発明の一実施例では、人の顔に貼った青
色マークを特徴点として、これを抽出する実験を行ない
、この発明の原理を確認した。従来の撮影方法と比較す
る実験の都合上、光源として発光ダイオードではなく、
白色光源（ハロゲンライト）を用い、偏光化して照射し
た。カメラは通常の３板式のカラーカメラを用い、結像
光軸上に、照明に使用した偏光板と偏光方向が直交する
偏光板を挿入して撮影した。カメラが捉えた反射光から
上述の方法により、拡散反射成分を抽出した例が第８Ａ
図である。この画素から青色成分を抽出し、２値化した
画像が第８Ｂ図である。この第８Ｂ図と前述の従来例で
ある第２５Ｂ図とを比較すると、雑音が少なく、特徴点
として青色マーク７７が効率良く抽出されている様子が
わかる。

次に、角膜反射像の抽出について説明する。角膜反射像
は前述の角膜の表面で参照光源の光が正反射して作る虚
像である。したがって、この場合は正反射像は求める信
号となる。角膜反射像の抽出は第３図においてＣＣＤ撮
像素子６１３と６１４との像の差分を差分演算手段６１
７によって抽出することによって行なわれる。角膜反射
像の抽出において、従来問題であったことは、前述のご
とく外部表面やデイスプレィの光が角膜で反射して像を
作り、参照光源の像に重なることであった。

しかしながら、この発明の一実施例では、発光ダイオー
ド６４の光が偏光化されているため、これと直交する偏
光板６１６によって発光ダイオード６４からの光の反射
像による角膜反射像が遮断され、拡散反射像が桟る。し
たがって、上述のごとく差分演算手段６１７により角膜
反射像が背景から抽出される。

しかし、外部照明は、一般に偏光していないため、ＣＣ
Ｄ撮像素子６１３と６１４とでは同様な画像が撮影され
、差分をとると消えてしまう。このようにして、差分演
算手段６１７から得られる差分画像は雑音が少ないため
、Ｓ／Ｎの高い角膜反射像の抽出が可能である。

第９Ａ図〜第９Ｃ図は角膜反射像の抽出例を示す図であ
る。この第９Ａ図〜第９Ｃ図に示した例は、上述の原理
を確認するため、第３図と同様の撮影系を用いて角膜反
射像を抽出する実験を行なり結果を示したものであり、
第９Ａ図はＣＣＤ撮像素子６１４から得られた画像であ
り、正反射成分と拡散反射成分とを含んでいる。第９Ｂ
図はＣＣＤ撮像素子６１３から得られた画像であって、
拡散反射成分のみを含んでいる。また、差分演算手段６
１７から出力された差分画像は、第９Ｃ図に示すように
、背景の中から角膜反射像が明瞭に抽出されている様子
がわかる。

次に、瞳孔の抽出について説明する。第３図に示すよう
に、第１の照明装置６１は第４図に示すように、レンズ
６５の光軸を囲むように配置された発光ダイオード６６
を含む。この照明装置６１からの照明による反射像、す
なわちＣＣＤ撮像素子６１２から出力される像では、瞳
孔は背景に対して明るく撮影される。背景に対する瞳孔
強調化は、これだけでは十分とはいえないが、適用範囲
を限定すれば瞳孔の抽出が可能である。一方、第２の照
明装置６２はレンズ６５の光軸から離れて配置されてい
て、この照明装置６２の照明による反射像、すなわちＣ
ＣＤ撮像素子６１３または６１４から得られた像は、瞳
孔が暗く撮影される。

したがって、ＣＣＤ撮像素子６１２から得られる画像と
ＣＣＤ撮像索子６１３から得られる画像の差分処理また
はＣＣＤ撮像索子６１２から得られる画像とＣＣＤ撮像
索子６１４から得られる画像との差分処理により、瞳孔
は背景から一層強調され、抽出が容易になる。なお、第
２の照明装置６２は、上述のごとく設置条件が厳しくな
いため、螢光灯などの外部照明で代用してもよい。ただ
し、この場合照明の反射光がＣＣＤ撮像素子６１３また
は６１４に到達することが必要であり、したがって外部
照明は近赤外の成分を持つものとするか、あるいはレン
ズ可視遮断フィルタ６８を除く必要がある。

第１０図、第１１八図ないし第１１Ｃ図および第１２図
は瞳孔が明るく撮影される光源の配置を説明するための
図である。

次に、光源の位置と瞳孔の明るさとの関係について、第
１０図を参照して詳細に説明する。眼球８０は半径の異
なる透明球が中心を隔てて重なった複合法としてモデル
化できる。撮影レンズ８６の光軸にあるこのような眼球
８０に対して光を照射し、その反射光を捉える場合を考
える。眼球８０の虹彩８１の開口部が瞳孔８５である。

光源８７から照射された光は角膜８４で屈折し、眼球８
０内に入り、瞳孔８５を通過し、網膜に対応する拡散反
射面８２に到達する。一部の光は網膜細胞に吸収される
が、残りの光はここで拡散反射される。反射光のうち、
再び瞳孔８５を通過できる光が概ね光源の方向に戻る。

したがって、この方向に撮影レンズ８６があり、反射光
を捉えることができれば、撮影画像において瞳孔８５の
部分は明るく輝いた像になる。

しかし、撮影レンズ８６が光源８７がら離れると、反射
光を十分に捉えることができなくなり、瞳孔８５の部分
において明るく輝く領域は特異な形になる。第１０図に
示すように、光源８７が撮影レンズ８６の光軸近くにあ
れば、第１１Ｂ図に示すように、瞳孔８５内で明るく輝
く領域が広くなる。しかし、光源８８のように撮影レン
ズ８６から離れると、第１１Ａ図に示すように、明るく
輝く領域が大きく偏る。このように明るさが不均一な瞳
孔像では２値化し、重心を求める処理をしても瞳孔８５
の中心を正確に求めることができず、視線検出の誤差が
大きくなる。したがって、視線検出の精度を上げる観点
からは、瞳孔８５が均一な明るさで撮影されることは特
に望ましい。

そこで、この発明の一実施例では、瞳孔８５内の全域を
均一に明るく撮影するために、光源８７を撮影レンズ８
６の光軸の近くに配置するとともに、光軸の周囲に配置
することが望ましいとしている。第１１Ｃ図は第４図に
示した照明装置６１を用いて撮影した瞳孔像を模式的に
示したものである。第４図に示した発光ダイオード６６
は第１１Ｂ図、第１１Ａ図に示すように瞳孔８５の特定
部分を明るく撮影するために作用するが、光軸の周囲に
配置された発光ダイオード６６による作用の相として撮
影される瞳孔像は全体が均一に明るくなる。なお、レン
ズ光軸の近傍に光源８７を配置する構成は、発光ダイオ
ード６６のような小型で効率の良い光源を使用して初め
て可能となる。

次に、第１２図を参照して、瞳孔を均一に明るく撮影す
る条件について説明する。撮影条件として影響する主な
パラメータは以下のとおりである。

■　レンズ中心位置を基準としたときの眼球の位置ｄ、
　　ｇおよび眼球の回転角ξ ■　光源の位置 上述のパラメータの中で、■のパラメータは視線検出法
を使用する環境条件によって定まる。インタフェースの
環境では、眼球の位置ｄは５０ｃｍ〜２００ｃｍ程度で
あり、眼球の位置ｇは±３０ｃｍ程度であり、回転角ξ
は±２０°程度である。このような条件の中で、第１１
Ａ図、第１１Ｂ図に示すように瞳孔の少なくとも一部を
明るく撮影するための光源の配置条件を実験により求め
ると、この条件は各光源と撮影対象を結ぶ線分之、や見
、′　とレンズ中心と眼球を結ぶ線分込、や悲、′　と
のなす角θでほぼ決まり、θの値はθｔｈ１　（５°）
以下であった。

また、瞳孔が明るく撮影される部分が全く現われないよ
うな角度についてはθｔｈ２（６°）以上であった。つ
まり、５°前後を境として、瞳孔は明るく撮影されるか
あるいは暗く撮影されるかに分かれる。このθｔｈｌ、
　　θｔｈ２の値は環境条件により設定される。したが
って、瞳孔を明るく撮影するための照明装置６１ではレ
ンズ光軸を取囲む各光源をθｔｈｌ以下にすればよい。

光源の数は多いほどよいが、３個以上が望ましい。

上述の条件により、瞳孔を明るく撮影した画像と、瞳孔
を暗く撮影した画像の差分画像により、瞳孔部分が背景
に対して強調される。

第１３Ａ図〜第１３Ｃ図は第３図に示した装置を用いて
撮影した画像の一例を示す図であり、特に、第１３Ａ図
はＣＣＤ撮像索子６１２によって撮影された画像であり
、第１３Ｂ図はＣＣＤ撮像素子６１４でｆＡ１影された
画像である。差分画像を２値化すると、第１３Ｃ図に示
すように、瞳孔部分が高いＳ／Ｎで抽出されることがわ
かる。

この発明の一実施例では、眼球の網膜で反射する光を瞳
孔から取出すことにより、瞳孔を明るく撮影するが、こ
の技術を特徴点抽出に利用することもできる。すなわち
、顔にマークを貼り、このマークを抽出することにより
、顔の位置や方向を検出する方式において、このマーク
に透明球を使用する方法である。

第１４図はこの発明の一実施例の装置に適用されるマー
ク物体の一例を示す図である。第１４図を参照して、ガ
ラス玉９０の上に白ペンキなどの塗料か塗布されて拡散
反射層９１が形成され、さらにその上に黒ペンキなどの
塗料が塗布されて光吸収層９２が形成される。光はガラ
ス玉９０の開口部から入射し、開口両部の曲率で屈折し
、拡散面に到達する。入射光は拡散面で結像こそしない
が、開口部の曲率がレンズとして作用するために、第１
４図に示すように入射光が集光される。拡散面で反射し
た光は、開口部を通過する際、曲率がレンズとして作用
するため、概ね入射した光の方向に反射する。

このように、反射光の方向が入射光の方向に近いために
、たとえば第３図に示した実施例の撮影装置で反ル１先
を撮影すると、ＣＣＤ撮像素子６１２で得られた画像は
開口部が周囲に対して明るく撮影される。また、撮影レ
ンズ６５から離れたところに設けられた照明装置６２に
よる反射光は眼球の場合と同様にして、カメラ６０は捉
えられないため、ＣＣＤ撮像素子６１３および６１４の
画像では開口部が暗くなる。したがって、これら２種類
の画像、すなわちＣＣＤ撮像素子６１２の画像と、ＣＣ
Ｄ撮像索子６１３または６１４の画像との差分をとると
、開口部が特徴点として強調され、抽出される。このよ
うに、ガラス玉９０の開口部は瞳孔を抽出する条件と同
様に抽出できる。

なお、ガラス球９０としては、直径３ないし５ｍｍ程度
のものを用意し、顔の中で皮膚の動きの少ないところに
貼るかあるいは眼鏡フレームの枠に埋め込み、これを利
用賃が装着するようにしてもよい。

第１５図はマーク物体の他の例を示す断面図である。第
１５図を参照して、マーク物体９３は直径が２〜５　ｒ
ｎ　ｍ程度の円形であって、ガラスを加二［シて形成さ
れる。表面には波長９００ｎｍ以上で透過し、９００ｎ
ｍ以下で反射する膜９４が形成され、裏面は拡散反射面
９５となっている。したがって、９００ｎｍ以上の光が
裏面で拡散反射されてカメラによって捉えられる。９０
０ｎｍ以下の光はマーク物体９３の表面で反射するか、
反射方向が撮影レンズと異なる場合、撮影されない。

また、この光は正反射光であるため、偏光板を用いれば
遮断できる。前述の第３図に示したＣＣＤ撮像素子６１
２で得られた画像ではマーク部分が明るくなる。また、
ＣＣＤ撮像素子６１３で得られた画像では、マーク部分
が暗くなる。したがって、これらの差分をとることによ
り、マーク部分が瞳孔と一緒に抽出される。

第１６図はこの発明を電子シャッタ式撮影装置に適用し
た実施例を示す図であり、たとえば第３図において、Ｃ
ＣＤ撮像素子６１４を省略したカメラに電子シャッタ機
能をつけたものに相当する。

すなわち、撮像素子１０５は第３図のＣＣＤ撮像素子６
１２に相当し、撮像素子１０５がＣＣＤ撮像素子６１３
に相当する。第１６図を参照して、電子シャッタ式カメ
ラ１０１はレンズ１０２と、電子シャッタ１０３と、波
長に応じて画像を分離する光学装置１０４と、波長λ１
の画像を撮影する撮像素子１０５と、波長λ２の画像を
撮影する撮像素子１０６とを含む。撮像素子１０５の出
力はメモリ１０７に与えられ、撮像索子１０６の撮像出
力はメモリ１０８に与えられる。メモリ１０７．１０８
はそれぞれ撮像出力を記憶する。画像処理装置１０９は
、メモリ１０７，１０８に記憶されたそれぞれの画像出
力を処理し、たとえば差分を出力する。電子シャッタ１
０３と撮像素子１０５．１０６はたとえばマイクロコン
ピュータからなるコントローラ１１０によって制御され
る。

照明装置１１１は波長λ、の光を照射する照明装置１１
３と波長λ２の光を照射する照明装置１１５とから構成
され、それぞれはコントローラ１１０の制御により、駆
動回路１１２，１１４によって駆動される。

第１７図および第１８図は第１６図に示した撮像装置お
よび照明装置の駆動タイミングを示す図である。前述の
第１６図に示した電子シャッタ式カメラ１０１は、動き
のある対象をぶれを少なくして撮影できる。その原理は
電子シャッタ１０３を短時間開いて撮像索子１０５，１
０６を露光し、第１７図（ｂ）に示すたとえば１ｍ５ｅ
ｃの短い時間１１６の間に画像信号が撮像素子１０５．
．１０６に一時蓄積される。その後、第１７図（ａ）に
示すタイミング１１７の間に撮像索子１０５゜１０６の
出力である画像信号がメモリ１０７，１０８に転送され
、転送が終わったタイミングで再び電子シャッタ１０３
が開かれ、撮像索子１０５゜１０６が露光され、この動
作が繰返される。

上述の第１６図に示した電子シャッタ式カメラ１０１で
は、撮像素子１０５，１０６として感度の高いものを使
用する必要があるが、シャッタ速度が速くなるに従って
多くの光量を必要とする。

このような装置において、照明装置１１１を使用するこ
とによって、以下の利点が得られる。

すなわち、発光ダイオードは高速にオン、オフできるば
かりでなく、間欠駆動条件では連続駆動に比べて大きな
電流を通電でき、したがって大きな光量を得ることがで
きる。これにより、撮像素子１０５，１０６の露光時間
に、十分な光を照射できる。このように、発光ダイオー
ドを用いた照明装置１１１は電子シャッタカメラ１０１
に必要な短時間に強い照明を必要とする条件に合致する
。

撮像索子１０５，１０６の一画面露光時間は３３ｒｎｓ
ｅｃ〜０．５ｍ５ｅｃ程度の幅が設定される。ここで、
たとえば最小露光時間である１ｍ５ｅｃまたは０．５ｍ
５ｅ、ｃにおいて、毎秒３０枚の画像を撮影する場合を
例にとると、照射時間は連続照射に比べて１／１０００
以下になる。この場合、連続通電では５０ｍＡ程度しか
流せない発光ダイオードであっても、間欠駆動によって
数Ａの電流を通電することかできる。したがって、露光
に必要な照明は確保できる。

この発明による撮影装置では、外部照明は雑音となるた
め遮断するのが好ましい。露光時間を短くする効果とし
ては、照明装置の光量に対して、外部照明の光量が相対
的に少なくなる点が挙げられる。これにより、外部照明
による反射成分が相対的に少なくなり、雑＆・成分が少
なくなってＳ／Ｎが改善する。また、必要な照明時間に
のみ必要な光量の照明を行なうため、無駄な電力が少な
くなり、発熱も少なくなる。

次に、間欠駆動の他の例として、外部照明による反射成
分を除去する他の方法について説明する。

第１８図は照明装置を駆動するタイミング図である。こ
の例では、画像の撮影は時分割で２枚１組によって行な
われ、１画面の撮影時間はたとえば３３ｍ５ｅｃであっ
て、Ａｌ、Ａ２で示されている。Ａ１の撮影時は照明装
置がオンされ、Ａ２の撮影時は照明装置がオフにされる
。Ａｌ、Ａ２の画像は共に外部照明による反射光が重畳
されている。外部照明の条件がＡＩ、Ａ２の撮影時で変
化しなければ、Ａ１の画像からＡ２の画像を減算するこ
とにより、照明装置をオンしたときの画像を抽出できる
。

次に、この発明の応用例として、撮影対象の特徴点をリ
アルタイム、たとえば３０画面／秒で抽出する画像処理
装置について説明する。人の動きをリアルタイムで検出
しようとする場合、上述のように一方で顔や身体にマー
クを貼ったり、参照光を当てるなど、特徴点が抽出しや
すくなる撮影方法を選択する必要があるが、これだけで
は不十分であり、画像処理装置の高速化が不可欠である
。

この発明では、２８類の画像の差分処理により、上述の
特徴点を簡単に抽出できる。

第１９Ａ図はこの発明による画像撮影装置を用いて、特
徴点をリアルタイムで検出する画像処理装置の全体の構
成を示す概略ブロック図であり、第１９Ｂ図は１ｌＱＡ
図に示した画像処理装置の具体的なブロック図である。

第１９Ａ図を参照して、近赤外カメラ１２１゜１２２に
よって撮影された各カメラのＣＣＤＩ〜ＣＣＤ３の画像
信号はそれぞれ画像処理装置１２３．１２４に与えられ
て画像処理されてホストコンピュータ１２５に与えられ
る。画像処理装置１２３．１２４はそれぞれ第１９Ｂ図
に示すように構成されている。すなわち、画像処理装置
！１２３は人力信号からパイプライン処理のためのタイ
ミング信号を作るモジュール１３０を基本とし、このモ
ジュール１３０に接続される他の人力モジュール１３１
．１３２および各種パイプラインプロセッサモジュール
１３３，１３４，１３５および１３６が並列動作する。

近赤外カメラ１２１はＣＣＤ撮像素子６１２．６１３お
よび６１４を含み、それぞれの画像信号はモジュール１
３０．１３１および１３２に個別的１与えられる。

モジュール１３０，１３１および１３２はＣＣＤ撮像素
子６１２，６１３および６１４のそれぞれの出力信号に
同期して画像信号をＡ／Ｄ変換して画素データとし、こ
の画素データはビデオバスを介して順次パイプラインプ
ロセッサモジュール１３３．１３４．１３５および１３
６に与えられる。バイブラインプロセッサモジュール１
３３゜１３４．１３５および１３６はそれぞれ複数の入
力を有していて、たとえば２種類の差分画像処理の場合
、パイプラインプロセッサモジュール１３３は（ＣＣＤ
６１４の画像−ＣＣＤ６１３の画像）なる処理および２
値化の処理を行ない、パイプラインプロセッサ１３４は
（ＣＣＤ６１２の画像−ＣＣＤ６１３の画像）なる処理
および２値化の処理を行ない、バイブラインプロセッサ
１３５はバイブラインプロセッサ１３３および１３４で
処理された画像信号をバッキングし、バイブラインプロ
セッサ１３６は抽出された特徴点の重心を計算する。

ｌｉ算された重心座標はりビータ１３８を介してホスト
コンピュータ１２５に伝送され、視線が検出される。こ
のようにして、１枚の画像が取込まれる間に、Ａ／Ｄ変
換された画素データが複数のパイプラインプロセッサモ
ジュール１３３〜１３６を介して演算される。１枚の画
像処理時間は最後の画素が取込まれるまでの時間３３ｍ
５ｅｃにパイプライン処理の遅れ時間を加えたものにな
る。

また、入力モジュール１３０．１３１および１３２は最
後の画像プロセッサに送った後は、すぐ次の画像取込み
に入ることができる。したがって、この発明の目的のよ
うに、簡単な四則演算で済む画像処理（画像間の差分処
理）の場合、３３枚／秒、遅れ時間３３ｍ５ｅｃ＋αで
リアルタイム処理が可能となる。

次に、視線検出以外の応用例として、形状パターンを参
照光として撮影対象に照射し、照射したパターンに対応
する反射パターンの変化から撮影対象の３次元形状を求
めるアクティブステレオビジョンへの適用について説明
する。

第２０図、第２１図および第２２図はアクティブなステ
レオ画像針ｌ−１法にこの発明を応用した例を示す図で
ある。第２０図を参照して、発光ダイオードの光源を用
いた照明装置１４１からレンズ系１４２．形状パターン
１４３および偏光板１４４を介して参照光が撮影対象１
４５に照射される。

撮影対象はたとえば人物の顔である。形状パターン１４
３には第２１図に示すようなパターンの模様１４５が形
成されており、光源１４１からの参照光はレンズ系１４
２によって形状パターン１４３の模様１４６を撮影対象
１４５に結合させる。

撮影対象１４５からの反射光は撮影レンズ１５１゜偏光
板１５２を通過して撮像素子１５３に結像される。なお
、偏光板１５２の偏光面は、偏光板１４４の偏光面に対
して９０”回転しているものとする。

第２２図は撮影対象１４５に投影されたパターンが撮像
素子１５３によって撮影された画像である。一般に、撮
影対象１４５には部分的になめらかな面があり、参照光
はここで正反射するため、偏光を用いない従来の方式で
は、第２９図に示す投影画像の中には、投影パターンを
妨害するような正反射像が現われる。しかし、参照光を
偏光化して照射し、反射光から正反射成分を遮断して撮
影するこの方式では、正反射像による雑音成分が少ない
ので、第２８図に示すように、撮影対象の形状の特徴情
報を反映した形状パターン像を効率的に抽出できる。

［発明の効果］ 以上のように、第１：ｉＪ求項ないし第３請求項にかか
る発明によれば、撮影対象からの反射光のうち、正反射
成分と拡散反射成分とが分離されるため、雑音の少ない
画像を得ることができ、２値化。

特徴点の抽出などの画像処理を効率良く行なうことがで
きる。特に、角膜反射像については、反射光の中から参
考光源以外の雑音成分が除去されるため、安定した特徴
点の抽出が可能となり、簡単なアルゴリズムで雑音除去
をすることができ、高速な画像商標が可能となる。

第５１；Ｒ求項および第６請求項にかかる発明によれば
、発光ダイオード身用いた照明手段を適切に配置するこ
とにより、瞳孔像を背景に対して明るく撮影し、または
暗く撮影することができる。これら２種類の画像の差分
をとることもできるため、瞳孔部分を背景から強調でき
、この強調画像は信号成分に対する雑音成分が少ないた
め、安定で効率的な瞳孔の抽出が可能となる。さらに、
簡単な差分画像処理で済むため、馬連でかつ効率良く瞳
孔の抽出が可能となる。

第７請求項にかかる発明によれば、第１の照明手段から
の光により瞳孔を背景に対して明るく撮影でき、第２の
照明手段からの光により瞳孔を背景に対して暗く撮影で
きる。第１の照明手段からの光は瞳孔から入り網膜で反
射し、入射した光の方向に戻って来るため、出射する光
と同じ方向に像結像手段を配置することにより、瞳孔を
明るく撮影できる。第２の照明手段からの光も同様にし
て瞳孔から入り、網膜で反射するが、反射する方向に結
像手段が設けられていないため、瞳孔を暗く撮影できる
。

第８請求項にかかる発明によれば、発光ダイオードを高
速にオン、オフすることによって、連続駆動する場合に
比べて大きな電流を通電でき、大きな光量を得ることが
できる。

【図面の簡単な説明】

第１図はこの発明の詳細な説明するための図である。 第２図は視線検出に必要な特徴点の種類とその性質を示
す図である。 第３図はこの発明の画像撮影装置の一実施例を示す図で
ある。 第４図は第３図に示した撮影レンズを前方から見た図で
ある。 第５図は同じ（側面から見た図である。 ′！Ｊ６図はこの発明の一実施例に用いられる光学部品
の光学的性質を示す特性図である。 第７図は発光ダイオードと偏光板とを一体化して照明装
置とした例を示す外観斜視図である。 第８Ａ図はこの発明の一実施例により撮影した拡散反射
像を示す図であり、ｉｓＢ図は特徴点抽出の効果を示す
図である。 第９Ａ図〜第９Ｃ図は角膜反射像の抽出例を示す図であ
る。 第１０図、第１１Ａ図ないし第１１Ｃ図および第１２図
は瞳孔が明るく撮影される光源の配置を説明するための
図である。 第１３Ａ図〜第１３Ｃ図は第３図に示した装置を用いて
撮影した画像の一例を示す図である。 第１４図はこの発明の一実施例の装置に適用されるマー
ク物体の一例を示す図である。 第１５図はマーク物体の他の例を示す断面図である。 第１６図はこの発明を電子シャッタ式撮影装置に適用し
た実施例を示す図である。 第１７図および第１８図は第１６因に示した撮影装置お
よび照明装置の駆動タイミングを示す図である。 第１９Ａ図はこの発明による画像撮影装置を用いて特徴
点をリアルタイムで検出する画像処理装置の全体の構成
を示す概略ブロック図であり、第１９Ｂ図は第１９Ａ図
に示した画像処理装置の具体的なブロック図である。 第２０図、第２１図および第２２図はアクティブなステ
レオ画像計測法にこの発明を応用した例を示す図である
。 第２３図は従来の非接触視線検出装置の一例を示す図で
ある。 第２４図は従来の照明装置と撮影装置とを用いて人物の
顔に合った青色のマークを特徴点として抽出する実験を
行なった例を示す図である。 第２５Ａ図および第２５Ｂ図は第２４図に示した実験に
よって顔の特徴点を抽出した例を示す図である。 第２６図は瞳孔の他の抽出法として、瞳孔から光を入射
し、網膜で反射する光を捉える方法を示す図である。 第２７図は角膜反射像をカメラで撮影する装置の一例を
示す図である。 第２８図は撮影された画像上で、白眼の中の黒眼の位置
を検出し、視線に変換する方法を説明するための図であ
る。 第２９図は瞳孔と角膜反射像とを特徴点として用い、１
台のカメラで抽出する方法を説明するだめの図である。 図において、６０はカメラユニット、６１，６２．１１
１，１１３，１１５は照明装置、６４゜６６．７２は発
光ダイオード、６３，６７．６１５．６１６は偏光板、
６５．８６はレンズ、６８は可視遮断フィルタ、７５は
光学素子、８７は光源、１０５，１０６は撮像素子、１
０７，１．０８はメモリ、ｘｏｑ、１２３，１．２４は
画像処理装置、１１０はコントローラ、１１２，１１４
は駆動回路、１２１，１２２は近赤外カメラ、１２５は
ホストコンピュータ、１３０，１３１．１３２はモジュ
ール、１５３，１５４，１５５，１５６はバイブライン
プロセッサモジュール、６０７６０８．６０９はプリズ
ム、６１０は波長分＃膜、６１１はハーフミラ−１６１
２，６１３，６１４はＣＣＤ撮像素子、６１７，６１８
は差分画像演算手段を示す。 特許出願人　株式会社エイ・ティ ・　アール 第６ 図 第１１Ａ図 第１０図 第１旧図 第１１ｃ図 第１３Ａ図 第１３８図 第１３ｃ図 第１２図 第１４ 図 第１５図 第１７ 図 第２１図 第２５Ａ図 第２５８図 第２６図 第２７図

Claims (7)

【特許請求の範囲】
1. （１）撮影対象の画像の特徴を抽出する画像撮像装置で
   あって、 前記撮像対象に偏光を照射する照明手段（６１，６２）
   、 前記照明手段によって前記撮影対象に照射された偏光の
   うちの反射光を結像するための光学系（６５，６０７，
   ６０８，６０９）、 前記光学系の結像光軸上に設けられ、前記反射光の中か
   ら正反射成分を遮断し、拡散反射成分を抽出する偏光素
   子（６１５，６１６）、および前記結像点に設けられ、
   前記偏光素子によって抽出された拡散反射成分を検出す
   る像検出手段（６１２，６１３，６１４）を備えた、画
   像撮像装置。
2. （２）前記光学系は、前記撮影対象からの反射光を第１
   および第２の光路に分離してそれぞれを結像するための
   光分離手段（６０８，６０９）を含み、 前記偏光素子は、前記光分離手段の第１の光路の光軸上
   に設けられる素子（６１６）を含み、前記像検出手段は
   、 前記光分離手段の第１の光路の光軸上に設けられ、前記
   偏光素子によって抽出された拡散反射成分を検出する第
   １の手段（６１３）、および前記光分離手段の第２の光
   路の光軸上に設けられ、前記反射光の中から性反射成分
   と拡散反射成分とを検出する第２の手段（６１４）を含
   み、さらに 前記前記第１および第２の手段の検出出力に応答して差
   分像を生成する画像処理手段（６１７）を含む、請求項
   １項記載の画像撮像装置。
3. （３）前記照明手段は、 前記光学系の光軸の周囲に設けられ、それぞれが第１の
   波長の光を前記撮影対象に照射する第１の光源（６１）
   、 前記第１の光源の光出射面に設けられる第１の偏光素子
   （６３）、 前記光学系の光軸から離れた位置に設けられ、第２の波
   長の光を前記撮影対象に照射する第２の光源（６２）、
   および 前記第２の光源の光出射面に設けられる第２の偏光素子
   （６７）を含む、請求項１項記載の画像撮像装置。
4. （４）撮影対象の画像の特徴を抽出する画像撮像装置で
   あって、 前記撮像対象を撮影するための撮影レンズ（６５）、 前記撮影レンズの光軸周辺に設けられた複数の光源（６
   ６）を含み、各光源は該各光源と撮影対象を結ぶ線分と
   、前記撮影レンズの中心と前記撮影対象を結ぶ線分との
   なす角が所定の値θ＿ｔ＿ｈより小さくなるように配置
   される照明手段（６１）前記撮影レンズを通過した前記
   撮影対象からの反射光を結像するための光学系（６０７
   ，６０８，６０９）、および 前記光学系の結像点に設けられ、結像された像を検出す
   る像検出手段（６１２，６１３）を備えた、画像撮像装
   置。
5. （５）前記複数の光源は発光ダイオードを含む、請求項
   ４項記載の画像撮像装置。
6. （６）撮影対象の画像の特徴を抽出する画像撮影装置で
   あって、 前記撮影対象を撮影するための撮影レンズ（６５）、 前記撮影レンズの光軸周辺に設けられた複数の光源（６
   ６）を含み、該各光源と撮影対象とを結ぶ線分と、前記
   撮影レンズの中心と前記撮影対象とを結ぶ線文とのなす
   角が所定の値θ＿ｔ＿ｈ＿１より小さくなるように配置
   された第１の照明手段（６１）、 前記レンズの光軸から所定距離隔てて設けられた光源（
   ６４）を含み、前記光源は該光源と撮影対象を結ぶ線分
   と、前記レンズの中心と前記撮影対象とを結ぶ線分との
   なす角が所定の値θ＿ｔ＿ｈ＿２より大きくなるように
   配置された第２の照明手段（６２）、 前記第１の照明手段による前記撮影対象からの反射光と
   、前記第２の照明手段による前記撮影対象からの反射光
   とを分離して結像させるための光学系（６０７，６０８
   ，６０９）、および 前記光学系の結像点に設けられ、結像された像を検出す
   る像検出手段（６１３，６１４，６１５）を備えた画像
   撮像装置。
7. （７）撮影対象の画像の特徴を抽出する画像撮影装置で
   あって、 発光ダイオードを有する照明手段（１１３，１１５）、 前記発光ダイオードをオン、オフする駆動手段（１１０
   ，１１２，１１４）、 前記撮影対象からの反射光を結像するための光学系（１
   ０４）、および 前記光学系の結像点に設けられ、結像された像を検出す
   る像検出手段（１０５，１０６）を含み、前記駆動手段
   は、必要に応じて前記像検出手段の検出タイミングに同
   期して前記発光ダイオードを間欠的に駆動する手段を備
   えた画像撮像装置。