WO2005059736A1

WO2005059736A1 - 瞳孔検出によるポインタ制御装置及び方法

Info

Publication number: WO2005059736A1
Application number: PCT/JP2004/019157
Authority: WO
Inventors: Yoshinobu Ebisawa
Original assignee: National University Corporation Shizuoka University
Priority date: 2003-12-17
Filing date: 2004-12-15
Publication date: 2005-06-30

Abstract

瞳孔位置の検出及び瞳孔の有無の検出により、汎用マウスに代替できるポインタ制御装置を提供する。近赤外線光源とカメラの組み合わせにより2つもしくは1つの瞳孔を顔の画像から検出し、頭の動き、特に回転により、パソコン画面にほぼ平行な面の中を移動する瞳孔の空間位置に合わせて、パソコン画面上のカーソルを動かす。まぶたの開閉をも検出し、カーソルの動きに相当する信号だけでなくマウスのボタン押しに相当する信号を出力をすることにより、クリックやドラッグもできる。

Description

瞳孔検出によるボインタ制御装置及び方法

技術分野本発明は、コンピュータ，ゲームマシンや産業機器などのシステムにおける入力装置としてのマウスやジョイスティックに代替できるボインティング装置及び明

ポインティング装置における左右ポタンの押下に相当する信号発生方法及び装置糸 1

に関する。書

背景技術これまでに視点（ユーザの視線方向）によるポインティングが種々提案されてい

O (たとは、 Weo / トレスの http://www.ericainc.com/ ( Human-computer interaction using eve-gaze input.pdf) , http：〃 www.eyegaze.com/なと参照、)。しかし、視点によって、ポインティングする場合は、表示装置上のポインティングしたレ、場所へ視点を動かさなければならないが、見るべき位置を探索している間も、カーソルが視点の位置に常に現れるため、カーソルを移動させたい位置にカーソルを移動させにくいという問題がある。また、視点位置にいつもカーソルが提示されることにより、それが視覚刺激となり、見たい対象が見にくいなどの問題がある。頭部の運動によれば、見ているところとカーソルのでる位置は異なり、し力も、前方の表示装置上の必要なところに視線を向けながらも、周辺視でカーソルを見ながら目的の位置に力一ソルを動かすことができる。従来の頭部の動きによるポィンティングシステムの例： - Eagle eye (非特許文献 1及び Webアドレス http：〃 www.cs.bc.edu/~gips/CM/ を参照）

Eagle eyeは、パソコンの横にビデオカメラを設置し、顔の画像を撮影しながら、画像処理により、予め指定する顔の一部をテンプレートマッチングにより追尾し、その動きに応じて、パソコン画面上のカーソルを動かす方式である。追尾対象としては、鼻の先、あごの先、黒眼などをためしている。しかし、テンプレートを更新しても、急減な周囲の明るさの変化などに対応しにくい可能性があり、また、追尾すべき対象が徐々にずれていくなどの問題も発生しやすい。

• Origin Instruments Corporation (Web / トレス http://www.onn.com/access/ を参照 J

Origin Instrumentsの方式では、一種のステレオカメラで、頭に取り付けたマー力の動きを検出して、それに合わせて、カーソルを動かすものである。これの問題点は、マーカをいちいち取り付けなければならないことである。このため一般には使用しにくレ、。

•顔の額などにシールでできたマーカを取り付け、ビデオカメラの横に設置した赤外光源により顔を照らし、マーカを検出し、頭部の動きによって動くマーカの 2次元位置を検出して、パソコン画面上のカーソルを動かす方式がある。これの問題点は、マーカを顔に取り付けなければならない点である。

•磁気センサを利用した方式：これは頭部に磁気センサを取り付ける必要があるので不便である。

·超音波を利用した方式：超音波センサを頭部に取り付ける必要がある。

また、これら先行技術はマウスにおけるクリック相当の操作が行えず、クリツク操作のためには別の補助入力装置を用いる必要がある。

瞳孔検出に関する技術として、特許文献 1及び 2に記載された技術がある。しかし、これらの技術は、検出された結果から汎用マウスに代替可能な制御信号を作成するものではない。【特許文献 1】特開平 1 1一 5 6 7 8 2号公報

【特許文献 2】特開 2 0 0 4— 2 6 1 5 9 8号公報

【特午文献 1】 "The Camera Mouse： Visual Tracking of Body Features to Provide Computer Access for People With Severe Disabilities", (Margrit Betke, James Gips, and Peter Fleming) , IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol.10, No. 1 , March 2002 発明の開示

従来の頭部の動きでパソコン等のモニター上のカーソルを動かす装置においては、メニューの選択を行ったり、ドラッグ操作ゃクリック操作用の補助入力手段が別に必要であった。また、頭部の動きの検出自体も精度が悪く、頭部にマーカ等を取り付ける必要があり、不便であった。

この発明は、眼の開閉状態をマウスの左右ボタンの操作に関連づけて、頭部のみでマウスと同等の操作を行うものである。

頭部の左右上下方向の移動をカーソルの上下左右方向の動きに連動させることは、従来技術のように額に取り付けたマーカを追跡するなどの手法を用いることができる。さらに好ましくは、後述するように眼、特に瞳孔を検出することによりマーカ装着の違和感がなく、利便性が向上する。頭部の移動のみではカーソル移動が困難である場合などに備え、通常のポインティングデバイスを併用可能にすべく、信号合成手段を設けておけば、さらに有用である。

マウスの左右ボタンに対応する信号の発生に関しては、眼（瞼）の開閉動作に連動させることとする。片眼の開閉困難な場合に備え、レバースィッチなど他の補助入力具を併用することも可能である。

以下、瞳孔検出により眼の開閉検出を行うものを中心に述べるが、黒目検出や白目検出など種々の変形が可能であることは言うまでもない。また、頭部の移動に関しても瞳孔検出によるものを中心に述べるが、マーカや磁性体の検出、さらには鼻孔、鼻頭、あご、唇、口、口角、眉間、目頭、目尻、黒目及び白目などをパターンマツチングゃ輝度分離などにより抽出するなど他の方式を採用してもよいことは明らかである。

この発明は、不可視な赤外光源によって顔を照らし、ビデオカメラによって、顔の横幅全体が楽に入る拡大率で撮影し、ビデオカメラによって撮影される画像内の 2つもしくは 1つの瞳孔を直接検出する方式である。そして頭の動きによつて生じる画像内の瞳孔の動きに合わせて、パソコン等のモニター上のカーソルを動かしたり、モニター上に表示されているメニューの選択をしたり、キーボードソフトを利用して文字を入力したり、複数のウィンドウを切り替えたりすることができる。また、装置単独でマウスの左右ボタンの押下に相当する信号を発生することができ、他のクリック操作用入力補助装置の必要がない。

瞳孔検出には、カメラの光軸に近いところに設置した光源と遠いところに設置した光源をフィールド毎に交互に点灯させ、瞳孔の明るい画像と喑レ、画像を得て、画像差分演算を行なう。このことで、瞳孔検出を容易にする。

瞳孔の明るい画像と暗い画像を得る原理は、瞳孔からの反射は、眼球の水晶体から入射した光が網膜により反射して概ね元の光源に返ってくる現象に基づくものであり、この光軸を外れた位置で観察しても、反射光を認めることはできないとの知見に基づくものである。図面の簡単な説明

第 1図は、システム全体の構成図である。

第 2図は、ソフトウェアによるモニタ上のキーボードの表示例である。

第 3図は、照明光の配置例を表す図である。

第 4図は、瞳孔からの反射像と差分画像を示す画像例である。第 5図は、瞳孔の移動と消滅に対応するカーソルの移動を示す模式図である。第 6図は、被験者の両目の開閉動作と汎用マウスの動作との対応を示す図である。

第 7図は、頭部の移動量とカーソル移動量との比例関係のいくつかの例を示す図である。発明を実施するための最良の形態

図 1にシステム全体の構成を示す。

カメラ 1は、近赤外線に感度を持つ汎用の CCDビデオカメラであり、カメラ 1の開口部（光の通る部分）の近くに 1つの光源 2、そして、カメラの開口部から離れたところにもう一つの光源 3を設ける。カメラ 1、光源 2及び光源 3は制御装置 4に接続される。制御装置 4はモニタ 6を有すパーソナルコンピュータ（以下「パソコン」という） 5に接続されている。接続インタフェースは、制御装置を P C Iスロッ卜に挿入する場合には P C Iバス 'ィンタフェースによるものとし、外部アダプタとする場合には U S Bインタフェースによるものが好ましい。さらには、パソコンそのものを制御装置として用いることも可能であり、その場合には、光源の照射（点滅）制御部分を分離して外部に設けることも考えられる。所望により制御装置の制御機能を分割し、ソフトウェアで実行する部分、ハードウエアで実行する部分、パソコン自体で実行する部分、 P C Iボードで実行する部分など、適宜機能分散することが可能であることは、当業者であれば理解できょう。

また、パソコンに限定することなく、ポインティングデバイスからの信号によりディスプレイに表示されるポインタの位置制御インタフェース及びポインタ位置と関連づけられたユーザの押しボタンによる動作指示をソフトウェアに伝達するインタフェースを有するシステムに適用可能であることは、明らかである。たとえばテレビに応用すると、光リモコン信号をインタフェースに利用して、リモコンの押しボタンのいくつかに对応した操作を可能にする。

対象者（ユーザ） 7に対し、カメラ近傍の光源 2と離れた光源 3とを交互に発光させて、その瞳孔からの反射画像をカメラ 1で撮像する。光源 2による画像と、光源 3による画像との差分を制御装置 4で演算し、得られた瞳孔位置の変化を U S Bインタフェースにより、パソコン 5に転送する。パソコン 5においては、制御装置 4からの信号をポインティングデバイスの一種であるマウスと同等であるものと見なして、モニタ 6上に表示されたカーソル 8の位置を制御する。

また、制御装置 4は片目のみを閉じる動作を検出し、左右ボタンの押下に相当する信号を発生する。

ここで制御装置は光源の発光を制御するものとしたが、光源の発光 ·消灯に同期して画像信号を取り込むことができるものであれば動作上に支障はなく、たとえば商用周波数に同期して点滅する光源と、同じく商用周波数に同期して画像を取り込む制御装置とにより構成することが可能である。

このカメラ 1、近傍の光源 2、離れた光源 3及び制御装置 4により構成されるシステムは、通常のパソコン用マウスと同等の機能を有する。したがって、普通のマウスのように、移動の方向やスピード、 2つのポタンなどに相当する信号を全く同じ形式で出力することが好ましい。なお、この瞳孔マウスと普通のマウスは併用ができる。本システムを U S Bケーブルなどを介して、ごく普通に、別のパソコンに接続する。したがって、ノ、。ソコンにとつては、通常のマウスと同等に見えることになる。同時に通常のマウスを同じパソコンに接続すれば、本システムとマウスが併用できる。

ここでは，接続インタフェースを U S Bとして例示したが、これに限ることなく P S / 2 , R S 2 3 2 Cやパラレルポー卜なども利用できるものである。また、瞳孔検出により頭部の移動量を検知し、カーソル移動を行うものとして説明しているが、頭部（顔面を含む）に設けたマーカや磁性体の検出、さらには鼻孔、鼻頭、あご、唇、口、口角、眉間、目頭、目尻、黒目及び白目などをパターンマッチングや輝度分離などにより抽出するなど他の方式を採用してもよいことは明らかである。

本システムにより、文字入力を行うためには以下に述べるようにソフトウェア •キーボードを用いることが好ましい。 ' パソコンの表示画面には、ソフトウエアにより図 2のようなキーボード入カツールを表示する。希望の文字のところにカーソルを持っていき、クリックをすればその文字が、 Word (商標）など一般のアプリケーシヨンソフトに入力される (Webアドレス http://orin.com/access/softype/index.htm ¾r参,照)。このキーボード入力ツール以外のところにカーソルを移動させた場合は、ごく普通のマウス操作と同様のことができる。

この変形として、マトリクス状に文字の升目が配置され、選択された升目が高輝度（または低輝度、輝度反転、点滅、縁取り）状態となり、カーソル移動信号により選択される升目が上下左右方向に移動する形態を含むものとする。この場合にはカーソルのアイコンが隠蔽される表示形態も許容される。

まず、瞳孔検出についての特徴、制約等について述べる。

瞳孔は、他の部分を誤認識しないようにするため、瞬目の直後（瞳孔の再出現時）に生画像の眼の部分の画像の変化（互いに数フレーム、例えば、 4フレーム時間的に離れた生画像同士を差分することにより検出する）を利用して検出されるものとする。この際は、眼の部分の像の変化を検出し、一旦検出されると、その後は、各瞳孔を中心にしたウィンドウが与えられ、その中だけについて瞳孔探索がされる。その後のフレームにおいて、与えられたウィンドウ内に瞳孔が再び存在すると判断された場合は、そのまま瞳孔が存在すると判断し、どちらかの目が閉じられ、対応するウィンドウ内において瞳孔が検出されなくなったとき、対応するほうの瞳孔が消失したと判断する。また、前のフレームで左右どちらかの瞳孔が検出されており、現在のフレームからも瞳孔が 1個だけ検出された場合は、前のフレームと同じ側の瞳孔が検出されたと判断する。

途中で、瞬目とは限らず、何らかの理由で、目を開いているにもかかわらず瞳孔が検出されなくなった場合は、ウィンドウが解除されて、画像全体について瞳孔探索を行う。ただし、片方の瞳孔が検出されているときは、その瞳孔に与えられたウィンドウ内は探索を行わなレ、。一度、目を閉じてから再度開くと、その目の部分の画像の変化を検出するために、再度、瞳孔が検出されウィンドウが与えられるようになっている。したがって、一般に、一度目を閉じてから再度開くという行為をしなければ、非検出の瞳孔は目を開いていても、検出されないままとなる。一度、普通に瞬目をするなどにより、再度、両方の瞳孔が検出されるようになる。

このほかに、目を開いているにもかかわらず瞳孔が検出されなくなつている場合、小刻みに顔をゆすったりすると、目の部分に画像変化がおこるために、瞬目と同様の効果が生じ、瞬目をしなくても瞳孔が再度検出される。このような効果は、素早く頭部を動かしている最中にも生じる。素早い動きのため、瞳孔画像がぶれて鮮明に写らなかった場合に一時的に瞳孔検出ができなくなることがある力目の部分に画像変化が起こるため、瞬目をしなくても、動きの速度が遅くなつたとき再度瞳孔が検出される場合がある。

頭部の移動を検知し移動量情報を作成するに当り、（1 )頭部の位置をカーソル位置とする（絶対量による制御と名づける）、（2 )頭部の単位時間あたりの移動量を、カーソルの現在位置からの単位時間あたりの移動量とする（相対量による制御と名づける）、（3 )頭部の原点からのずれに比例して、カーソルの単位時間あたりの移動量を生成する（積分量による制御と名づける）、の 3つが考えられる。上記（1 )は、旧来のジョイスティックに対応し、レバーの変位量に見合った量で、カーソル位置が決定される（絶対位置の制御）。上記（2 )は現在のマウスやトラックボールに対応し、回転量に見合った量で、カーソルが移動する（相対位置の制御）。上記（3 )は、現在のノートパソコンに見られるスティック状のコントローラに対応し、レバーの傾きが存在する間、カーソルは移動しつづける（積分による位置決定）。力一ソルキーによる力一ソルコントロールも、上記（3 )に相当すると言えよう。

さらに用途によっては（4 )位置情報の微分によりカーソルを移動させることも考えられる。実際の利用にあたっては、不感帯を設けたり、移動が大きいときには加速機能として多目の移動量を作成することもあるため、これらの混合となるものである。

頭部の移動を検知し移動量情報を作成する場合には、マウス · インタフェースを用いて他のシステムと接続するのか、ジョイスティック ' インタフェースあるいは他のスティック 'インタフェースを用いるのかによって、出力信号に対する考慮が必要であり、多種多様の変換形態があることが理解されよう。

また、頭部の移動にも、平行移動と回転移動とがあり、平行移動のほうが検知しやすいが、本発明の頭部移動は平行移動に限定するものではない。たとえば回転移動の検知としては、瞳孔間の距離により推測する方法や、閉眼時にも追跡可能なポイントとして目尻の位置を検知するなど、種々の検出方法が考えられる。

【実施例 1】

瞳孔位置検出のシステム構成：

現状では、カメラ 1 として近赤外線に感度を持つ汎用の CCDビデオカメラを用いる。図 1のように、カメラ 1の開口部（光の通る部分）の近くに 1つの光源 2、そして、カメラの開口部から離れたところにもう一つの光源 3を設ける。実際の光源例を 2種類、図 3に示す。図 3 ( a )には、カメラの開口部（レンズ） 1 0の最近傍領域 1 2に同心円状に発光ダイオード（L E D ) 1 1を配置し、その外周領域 1 3に同じく同心円状に発光ダイオード 1 1を配置した例を示している。図 3 ( b )には、カメラの開口部 1 0の近傍領域 1 4に同心円状に発光ダイォード 1 1を配置し、カメラ開口部 1 0からやや離隔した位置に円状領域 1 5を設け発光ダイオード 1 1を配置した例を示している。図 3 ( b )の例では光源の形状が異なっている。しかし光源の形状を異ならせることなく、カメラから離隔した位置の光源の形状と、カメラの近傍に配置する光源の形状とを、同一のものとすれば、製造コストの低減が図れる。

これら発光ダイオードの位置は、以下に述べるように、瞳孔からの反射光を得るための照明と、差分演算を行うために必要な顔全体画像を得るための照明であるので、 2群の照明光による顔画像に差があることは好ましくなく、また、離れた位置からの照明は瞳孔からの反射光を得るためではないので、適切な位置に配置することが望まれる。

例えば、カメラの近傍に配置された第 1の光源は、瞳孔とカメラを結ぶ光軸と約 3度以下の角度をなす光源線により瞳孔を照明するものであり、カメラから離隔された位置に配置された第 2の光源は、瞳孔とカメラを結ぶ光軸と約 3度以上の角度をなす光源線により瞳孔を照明するものとする。

実際に対象者 7を撮像した画像を図 4に示す。

カメラ 1の画像は図 4に示すように、基本的に 2つの瞳孔がフレームに十分入る大きさに写すものとする。この状態で,カメラの開口に近い光源を光らせると、図 4左（a)のように瞳孔が明るく写る（明瞳孔）。一方で,カメラの開口から遠い光源を光らせると、図 4中（b)のように瞳孔が暗く写る（喑瞳孔）。ただし、これら 2つの画像中に見られる瞳孔中の小さな点は、各光源が角膜表面で反射して映る角膜反射と呼ばれるものである。本方式では、角膜反射は利用しない。

さて、上述の 2つの光源をカメラのビデオ信号の奇数、偶数フィールドに同期させて 2つの光源を交互に光らせ,明瞳孔と喑瞳孔の画像を交互に得る。それらの画像を差分すると図 4右（c)のような画像を得ることができる。この差分画像においては、瞳孔が他の部分（背景）から浮き出るように現れ、比較的簡単に 2 つの瞳孔を検出できる。

【実施例 2】

目の開閉情報とマウス信号への対応：

瞳孔移動によるポィンティング装置の出力は、通常のマウス信号に対応させるため、マウスの移動量を表す信号、右ボタンの押されているかどうかの情報、左ボタンの押されているかどうかの情報が出力される。

左クリックをした力、、ドラッグをしたかなどの判断は、受け手のパソコンが判断する。なお、受け手のパソコンでは、クリック時間などを調整できるので、本装置では、その点を考慮する必要がない。

基本的に、すばやく左目または右目のウィンクをしたときに、それぞれマウスの左クリックまたは右クリックに相当し、左目を閉眼しながら頭部を動かしたとき、ドラッグに相当する。両目を開けながら、頭部を動かしたとき、単にマウスを動かすことに相当する。ただし、注意しなければならないのは、瞬きで両目をつぶった場合である。幸いなことに、 2ボタンマウスでは、両方のボタンを押すという動作は必要ないため、両目をつぶったときは瞬きであると判断し、その場合は無視する。

ある程度具体的に表現すると、次のようにまとめられる。

·両目の瞳孔（両瞳孔）が検出されるとき、各瞳孔中心座標の平均座標を計算し、直前のフレームの同座標との変化分に相当する信号を出力。

•左目の瞳孔（左瞳孔）が検出されて、右目の瞳孔（右瞳孔）が検出されないとき、右ボタンが押されたのに相当し、それに対応する信号を出力すると同時に、直前のフレームと現在のフレーム間の左瞳孔座標の変化分をカーソル移動に相当する信号として出力。 -右目の瞳孔（右瞳孔）が検出されて、左目の瞳孔（左瞳孔）が検出されないとき、左ボタンが押されたのに相当し、それに対応する信号を出力すると同時に、直前のフレームと現在のフレーム間の右瞳孔座標の変化分をカーソル移動に相当する信号として出力。

'両瞳孔が共に検出されないとき、瞬きが発生したとして、直前のフレームと現在のフレーム間の座標変化信号がゼロであることを示す信号をカーソル移動がゼロであることに相当する信号として出力すると同時に、両ボタンとも押されていないことを示す信号を出力し、両目が現れるのを待つ。

これを図示すると、図 5のようになる。図 5 ( a )は両瞳孔が検出されているときのカーソルの移動を示している。最初の位置として左瞳孔 2 0、右瞳孔 2 2が存在し、顔の移動により左瞳孔 2 1、右瞳孔 2 3の位置に移動が検出される。制御装置 4において、両瞳孔の初期位置の平均座標を求め、さらに移動後の平均座標を求める。求められた 2つの平均座標の差に基づいて力一ソル移動信号を発生する。ノ、。ソコン 5はカーソル移動信号に基づき、モニタ上のカーソル 2 4を新しい位置であるカーソル 2 5に移動させる。

また、簡略化する場合には両瞳孔の平均座標を求めるのではなく、片方の瞳孔位置検出のみによりカーソル位置を制御してもよレ、。これは、マウスにおいて右ボタン押下によるドラッグ操作が存在していないため実用上問題が生じないからである。

図 5 ( b )は、一方の瞳孔 (左瞳孔）が消滅し、他方の瞳孔 (右瞳孔）の移動が検出された場合を示している。左瞳孔 2 6はこの位置で消滅し、右瞳孔 2 2は右瞳孔 2 3に移動したものとして新しい位置が検出される。この場合には、対象者（ュ一ザ）がカーソルによるドラッグを指示したものと判断し、マウスにおける左ボタンを押下しながらの移動として、制御装置 4はカーソル 2 4の位置からカーソノレ 2 5の位置までのドラッグとしての信号を作成する。ここでは、左瞳孔の消滅がマウスの左ボタン押下に相当し、右瞳孔の消滅がマウスの右ボタンの押下に相当するとしたが、この対応は任意に設定できるものであり、これに限定するものではない。

【実施例 3】

画像中の 2つの瞳孔の検出法と閉眼の検出：

まず輝度情報を利用して瞳孔のおよそのありかを探す。次にその周囲にウィンドウを与え、ウィンドウ内の輝度ヒストグラムを作る。輝度ヒストグラムには、瞳孔部と背景部を表す 2つのピーク（山）が現れる。したがって、適当な方法により、 2つのピークの中間の値を閾値とし、 2値化する。この閾値決定は自動的に行われる。これから瞳孔部の画素数を計数する。瞳孔画素数は瞳孔面積に対応させて利用する。

さて、もし、閉眼し、画像中に瞳孔がなくなったとき、瞳孔が確かに無くなつたと判断するのは困難である。そこで、瞳孔の検出を確実にする意味でも、両眼が開眼しているときに 2つの瞳孔を検出したら、カルマンフィルター等の予測モデルを利用して、次のフレームの瞳孔位置を予測し、はじめから予想される瞳孔位置付近にウィンドウを与える。そして、そのウィンドウ内だけを前述のように自動的に閾値を決定して、瞳孔部を判断して、瞳孔中心を決定する。

ただし、閉眼するとウィンドウ内の輝度ヒストグラムが背景の 1つのピークしか現れなくなることを利用して閉眼を判断する。もし、片眼だけが閉眼された場合は、閉眼したほうの瞳孔ウィンドウだけが解除される。次のフレームでは、前フレームでの開眼しているほうの瞳孔に与えられたウインドウは維持され、その外の画像全体から、瞳孔検出を試みる。そして瞳孔候補として挙げられた位置にウィンドウを与え、ウィンドウ内の同様に解析して、瞳孔部が存在すると判断された場合は、そこに新たにウィンドウが与えられ、閉眼していた目が開眼したと判断される。しかし、瞳孔部が存在しないと判断された場合は、まだ閉眼されているものとし、同様に開眼しているほうの瞳孔ウインドウを維持する。

もし、さらに両目が閉眼した場合には、両方のウィンドウが解除される。次のフレームにおいても、画像全体の中から瞳孔候補位置が 2つ探される。しかし、それぞれのウィンドウの中において、同様の方法により瞳孔が存在の有無を判断する。

2つの瞳孔とも無い（両目が閉じた）と判断されたら、次のフレームにおいて同じ作業を繰り返す。しカゝし、両目が閉じた場合は単なる瞬きであると判断し、さらに次の両瞳孔が出現するまでの期間は、瞳孔移動はなかったものとする。片方の瞳孔があると判断された場合は、次のフレームではそちらだけ予測位置にウィンドウを与え、もう一つの瞳孔の探索を試みて、無ければ片目が開いたと判断し、あれば両目とも開いたと判断し、次のフレームにおいては両瞳孔にウィンドウを与える。

以上のような方法により、 2つの瞳孔のそれぞれの有無により、 2つの眼の開眼、閉眼を区別し、もし、瞳孔が存在すると判断された場合は、各瞳孔の中心座標を重心法などにより算出する。

以上の処理は、ソフトウェアにより容易に作成可能である。また、ハードゥエァとして実現することも可能である。

また、これまでカーソルの移動は瞳孔の移動に比例するかのように述べたが、頭の移動による瞳孔の移動は、特に上下方向においては小さく、瞳孔位置の基準点からのずれを積分することによりカーソル位置を決定する方が好ましい場合も存在するので、このような実施態様を否定するものではない

【実施例 4】

顔画像から検出される瞳孔の検出状態は、（a )両目が開いており、両瞳孔とも検出されている状態（右瞳孔検出、左瞳孔検出）、（b )右目のみが開いており、右瞳孔のみが検出されているとき（右瞳孔検出、左瞳孔非検出）、（c )左目のみが開いており、左瞳孔のみが検出されているとき、（右瞳孔非検出、左瞳孔検出）、（d )両目とも閉じており、両瞳孔とも検出されないとき（右瞳孔非検出、左瞳孔非検出）の 4通りである。

汎用の 2ポタンマウス信号から出力される情報は、マウスボタン情報（右ボタンの DOWN (押した状態） · UP (離した状態）と左ボタンの DOWN . UP)とカーソル移動情報（水平方向、垂直方向）である。

図 6に、被験者の両目の開閉動作を汎用マウスの動作へ対応させる方法を示す。例えば、片目を 1度閉じてから開けばクリック、また、片目を閉じながら頭部を動かせば、ドラッグが開始され、その後に閉じていた目を開けば、ドラッグが終了する。

そのために、右目の開閉と左目の開閉を、汎用 2ボタンマウスの右ボタンの U P , D OWNと左ボタンの U P , D OWNに対応させる処理を行うものとする。この対応づけは左右入れ換えることも可能である。

ただし、瞬目（まばたき）により両目が閉じる場合は、それは被験者の意図ではないために例外的に极ぅ。通常、汎用マウスの両ボタンとも押している状態は利用されないので、両目が閉じている場合は、両ボタンとも逆に U Pになっている状態とみなす。ただし、瞳孔移動量は零であるとする。これにより、両目が閉じられている場合は、マウスを何も操作していない状態（手を放している状態）に相当させることになる。このような状態は、両目が閉じている場合だけでなく、顔がカメラに映っていない場合も同様の极いとする。

【実施例 5】

( 1 )瞬きを行う場合、両瞳孔が非検出となるが、右と左の眼を閉じる際に、個人によって 1〜2フレーム程ずれがある場合がある。これは、瞬き後の眼を開くときも同様である。このような場合、単に、両瞳孔の検出状態変化を汎用マウスの左右のボタンに対応させると、ちょうど左右のボタンを、少しだけ時間をずらして押したのと同じ状況となり、汎用のマウスでこれが起こると多くのアプリケーシヨンソフトウエアは使用者の意図とは異なった動作をすることになる。

( 2 )また、速く頭が動くと、それに伴って瞳孔も速く動く、その際に瞳孔の画像がボケてピーク輝度値が低下するなどして、結果的に瞳孔が検出できないことがある。これは、両目を開いているとき（カーソルを単に動かしているとき）において、両瞳孔に関して、もしくは、片方の瞳孔に関してありうる。その場合、瞳孔の検出状態が変化したと判断すると、被験者の意図とは異なったボタン情報を出力してしまう。

上の（1 )と（2 )のような問題を防ぐために、次のような対処を行う。

現在の画像フレームから得られた瞳孔の検出状態（検出、非検出）力前のフレームから別の状態に変化しても、変化後に同じ状態が数フレーム（例えば、 3フレーム、 1 0 0 m s ) 以上連続に続いたときに、はじめて変化後の瞳孔状態に一致するボタン情報を出力するものとする。

【実施例 6】

顔画像からの瞳孔検出においては、両瞳孔が検出されているとき、各瞳孔の X 座標から左右の瞳孔を判定する。したがって、両瞳孔が開いている状態から、どちらか一方の目が閉眼したときは、座標の比較から、左右どちらの瞳孔が検出状態から非検出状態に変化したかを判定するものとする。また、両目が閉眼した状態から片目から先に開く場合は、両目が開かれるまでは先に開いた目がどちらの目か分からないため、このような状態変化の場合には、両瞳孔が検出されるまで、瞳孔が左右どちらか判定せず、両瞳孔が検出されてから初めて両瞳孔の左右を区別する。したがって、以前に両瞳孔が非検出状態であった場合は、両瞳孔が検出されたと判定されるまでは、ボタン動作は左右とも U Pのままの状態とし（両瞳孔が検出された後も、両瞳孔とも U Pのまま）、カーソル移動は片目の瞳孔移動量に従うものとする。一方で、片側の瞳孔のみ検出の状態から、他方の瞳孔のみの検出の状態に変移する場合がある。これは、ドラッグ中に片目を閉じていて、ドラッグ終了のときに、閉じていた目がちょうど開いたと判断されたときに、何らかの理由で開いていたほうの瞳孔が検出されなくなったときに生じる。しかし、片眼のみを閉じた状態から、反対側の片目のみを閉じた状態に使用者が意図的にすることはありえないと仮定し、本来検出されるはずのもう一方の瞳孔が何らかの理由で検出されそこなって片目が開いていた状態から両瞳孔検出状態に変化した、と判断する。その後は、検出されている瞳孔のみの移動に対応させてカーソル移動をさせる。【実施例 7】

両瞳孔が検出され続けているときは（単なるカーソル移動に相当）、連続するフレーム間における両瞳孔の重心移動量を瞳孔移動量とし、それをカーソル移動量へ対応させることが望ましい（実施例 9参照）。片方の瞳孔のみが検出され続けているときは、連続するフレーム間における、検出されている瞳孔の移動量を、瞳孔移動量として、カーソル移動量に対応させる（実施例 9参照）。なお、実施例 4で述べたように、使用者が頭部運動中に（必ずしも運動していなくてもよい力、意図とは関係なく、両目を開いているつもり力指定した数フレーム間より短い時間に片方の瞳孔しか検出できなかったときには（眼鏡反射が瞳孔像に重なったときなどにも起こる）、その間は、片方の瞳孔の移動量をカーソル移動量に対応させる。また、実施例 4で述べたように、使用者が頭部運動中に（必ずしも運動していなくてもよいが）、意図とは関係なく、片目を開いているつもり力 S、指定した数フレーム間より短い時間に両瞳孔とも検出できなかったときには、その間は、瞳孔の移動はないものとし、カーソルは移動しないものとする。

【実施例 8】

本来は、使用者がカーソルを動かそうとしているにもかかわらず、瞳孔が検出できなかった数フレーム間は瞳孔が移動しないことになる。この場合、カーソルが動かない状態で頭が回りきってしまうこともあり、使用者のその後の対処が面倒となる。そこで、瞳孔が検出できなかった数フレームの直前の（1フレーム前の）瞳孔位置と、直後の瞳孔位置の差を、瞳孔移動量として、カーソル移動量に対応させるものとする。

両瞳孔が連続して検出されていたときに、使用者の意図とは関係なく、その瞳孔が指定した数フレーム間より短い時間に両瞳孔が検出できなかった場合（頭部移動中に瞬目が生じた場合などが考えられる）も同様に対処する。ただし、片方の瞳孔が検出され続けている場合には、適用されず、その場合は、片方の瞳孔の移動量を、瞳孔移動量として、カーソル移動量に対応させる（ただし、実施例 5 のようにボタンは左右とも U Pのままとして出力することが好ましい）。

【実施例 9】

被験者が緊張したりすると、頭部が振動し、それに合わせて瞳孔も振動し、力一ソルが振動してしまう。（これは、瞳孔検出に問題があるのではなく、頭部の動きでカーソルを動かそうとすること自体の問題）。これを、後で述べる方法によって解決する。はじめに、一般的に考えられる方法を述べる。

通常は、得られる瞳孔移動量とカーソル移動量の对応付けを

し χ = κχ · Ρ X ,

C y = ky · P y … （ 1 )

として対応付けることが考えられる。ここで、 P xと P yは、それぞれ画像中の水平方向、垂直方向の瞳孔移動成分（正負あり）、 C x、 C yはパソコン画面中の水平方向、垂直方向のカーソル移動量である。また、 kxと kyは被験者によって好みの値を選ぶための係数である。

頭部を回転もしくは移動させて、カメラから見た瞳孔を移動させることにおいて、 kx、 kyを大きく設定すると、小さな頭部の動きでカーソルは大きく動くが、その代わり、頭部を被験者が止めているつもりでも、頭部の振動が原因でカーソルが振動してしまう。逆に、 kx、 kyを小さく設定すると、大きな頭部の運動を行わないと、カーソルを大きく動かすことができなくなる。できるだけ適当な値を選択しても、カーソルを希望の位置に合わせようしたときに、カーソルが振動して位置合わせが難しい。

解決法としては、

Cx = kx . Px . |Px|^b— ¹ ,

Cy = ky · Py · |Py|^b一' … (2)

と対応させることである。 b > lのとき、（1)式の場合より、 Px、 Pyの次数が高くなり、 b = 2のとき瞳孔移動量の二乗をカーソル移動量に対応させることになる（図 7の a)。このような対応付けにより、瞳孔の振動はほぼ零に抑えられ、頭部の運動による瞳孔移動は強調される。ここでも、 kx、 kyは被験者の好みに合わせるものとする。このように、次数を高くすると、比較的すばやく頭部を動かした場合は、小さな頭部運動によってもカーソルは大きく移動し、逆に頭部をゆつくり動かす場合は、ほんの少しだけカーソルが移動できるようになる。したがつて、カーソルを大きく動かしたいときも、希望の位置からカーソルがほんの少しずれているときに、それを希望の位置に合わせたいときにも、両方に適している。

しかし、 b = 2にしても、頭部の振動がカーソル移動に悪影響を与える場合は、いわゆる不感帯（dead zone) を設けて対処する。すなわち、 Px, Pyが指定した閾値以下のときは、 Px= 0, Py= 0 (もしくは、 Cx= 0， Cy= 0) とする (図 7の c (但し b = lの場合），もしくは図 7の d (但し b = 2の場合））。このようにすると不感帯の範囲の小さな頭部振動では、力一ソルがまつたく動かなくなる。

または、不感帯を設けた上で、不感帯の範囲内の小さな瞳孔移動の間は、すべての瞳孔移動の積分値を記録しておき、不感帯を超える大きな瞳孔移動があったときは、その積分値を使用して、瞳孔移動をさせる（図 7の c， d ) ₀ 顔の向く方向によりカーソル制御を行う場合には、このようにすることによって、ほぼ顔の向いた方向にカーソルを瞬間的に向けることが可能である。

さらに、図 7の b , eのような関係を使用すれば、頭部の小さな振動ではカーソルが全く動かず、不感帯よりも頭部の移動が大きくなると徐々に動くようにすることができる。特に図 7の eでは、不感帯を超えると少し動き、それよりも頭部の移動が大きくなると急激にカーソル移動を大きくすることができる。

【実施例 1 0】

クリックしたりドラッグを開始したりするとき、眼を開いた状態から、閉じる。また、ドラッグを終了するときは、眼を閉じた状態から開く。このように眼の開閉の短い時間に（例えば、 2フレーム間）、一般に、人間は、注意しないと眼が動いてしまう。特別な処理をしないと、眼の動きに合わせてカーソルが移動してしまレ、、使用者の意図とは違う位置にカーソルが動くために、クリックやドラッグをしたい場所とは異なった場所をクリックゃドラッグをしてしまうことになる。この問題を防ぐために、ちょうど使用者が目的の位置にカーソルを合わせて、眼を閉じる、もしくは、開こうとする時点でのカーソル位置の座標が入力情報となることが望ましし、。そこで、例えば、常に最近の数フレームにわたるカーソル移動量を記録しておき、クリックもしくはドラッグの開始、終了が起こったと判断されたフレーム（これをフレーム Bとする）から、時間を数フレーム分だけ遡つたフレーム（フレーム Eとする）におけるカーソル位置に力一ソルを戻すための処理を施す。すなわち、フレーム Bからフレーム Eまでの間の瞳孔移動量の積分値を、フレーム Bにおける瞳孔移動量から引いた値を、新たな瞳孔移動量に置き換えてカーソル移動に使用する。

【実施例 1 1】

片目の開閉の苦手な使用者もいる。そのような使用についても、瞳孔マウスのボタン操作に相当する部分を他のボタン押し装置（汎用マウス、キ一ボードなどを含む）で代行させたり、併用させたりすることができる。例えば、大きなディスプレー上のカーソルを制御する場合に有用である。

また、瞳孔マウスと汎用の手動マウスを併用することも有用である。

汎用の手動マウスは細かいカーソル移動は得意であるが、大きなカーソル移動をするためには、手を大きく動かすか、何度か空に浮かせて位置を戻す必要があり、使用しにくい面がある。それに対して、瞳孔マウスにおいては、大きな頭の動き（回転）に対して、カーソルは素早く動く。そして、細かい作業については、瞳孔マウスが作用しないようにしておき、手動マウスによりカーソルを動かす。さらに、大きなディスプレー上においてカーソルを見失うことがよくあり、使レ、にくレ、。瞳孔マウスを調整して、カーソルを頭の回転に合わせて大きく移動させるようにすれば、ほぼ頭の向いている方向にカーソルが移動させるようにできるので、カーソルを見つけやすくもなる。

以上のことをするためには、実施例 9の最後に述べた不感帯を大きめに設定し、小さな瞳孔移動ではカーソルがまったく動かないように設定しておく。その上で、すべての瞳孔移動の積分値を記録しておき、再度、不感帯を超える大きな瞳孔移動があつたときは、その積分値を使用して、瞳孔移動をさせる。このようにすることによって、ほぼ顔の向いた方向にカーソルを瞬間的に向けることが可能である。

【実施例 1 2】

これまで、眼の閉状態をマウスボタン押下に直接対応づけるものとして、説明した。この場合には、片目の 2度のまばたきにより O S (あるいはアプリケーシヨンソフト）は、ダブルクリックとの判定を行い、それに対応する動作を実行する。一方で、片目を開いたまま頭部を移動し、ドラッグに相当する操作を行いがたいユーザがいる。これに対処するために、片目の 2度のまばたきを検出したときには、マウスボタン押下状態でロックしたものと判定すれば、両目開眼状態でドラッグ操作が行える。

左右の眼の開閉情報をボインティングデバイスの左右の押しボタンスィツチの押下状態情報に対応づける手段における対応づけを、使用状況に応じて切換え可能に構成することにより、有用性は高まる。

また、他の形態として、片目まばたきの繰返し周期の弁別を行うことにより、たとえば早い周期での 2度のまばたきはダブルクリックとし、遅い周期での 2度のまばたきは押下ロックとすることも考えられる。さらには、 3度のまばたきで押下ロックとするなど、ユーザの操作しやすい条件により、ロック状態を含めて種々のボタン押下信号を発生する変形が考えられる。

【実施例 1 3】

テレビシステムなどに接続して、もしくはテレビ自体に眼の開閉検出機能を取り付けることにより、右目（左目）のみを閉じて開くたびにチャンネルを増加方向に変えたり、左目（右目）のみを閉じて開くたびにチャンネルを減少方向に変えたりすることが可能である。さらに、たとえば右目（左目）のみを 1秒以上閉じ続けると開くまで音量を大きくし、左目（右目）のみを 1秒以上閉じ続けると開くまで音量を小さくするように構成することができる。この変形として、右目（左目）をチャンネル制御に、左目（右目）を音量制御に割り当てることも考えられる。テレビシステムに接続する場合には、光によるリモートコントロール信号を用いるィンタフェースが有用であろう。産業上の利用可能性

本発明は、パソコンゃゲームマシンなどボインティングデバイスからの信号によりディスプレイに表示されるボインタの位置制御ィンタフェース及びポィンタ位置と関連づけられたユーザの押しボタンによる動作指示をソフトウエアに伝達するインタフェースを有するシステムに対し制御信号を発生するものであり、パソコンにおいては手を用いることなくマウスと等価な操作が行えること、ゲームマシンにおいては、コントローラと併用することにより、多彩なアクションが行えることなど有用性は計り知れない。

また、アプリケーションによってはカーソルコントロールが不要な場合もありこの場合には押しボタンに関するィンタフェースのみを用いてシステムに接続するなど、種々の変形が容易である。

本装置の用途として、次のようなことが考えられる。

1 . 首から下が動かない身体障害者が通常のパソコンを操作したり、パソコンを介して介護機器を制御するために利用する。

2 . 車内でフロン卜に呈示されたナビゲーションシステムなどをドライバーが前方を見ながら,頭部の回転によって制御できるようにする。

3 . 通常のパソコン操作などにおいて、キー操作をしながら、マウスカーソルを移動させたり、アクティブウィンドウを変更したり、移動する、など、バソコン操作を高速化、効率化させるために利用する。

4 . 頭部の前後の動きがあまりないとき、画像中の瞳孔の動きから、頭部の左右、上下のおよその動きを検出し、それを利用して、頭部の動きの検出の必要なバーチャルリアリティーなど、特に頭部の動きに合わせてディスプレー上の表示する視覚情報を変化させるために利用する。

Claims

1 . ポィンティングデバイスからの信号によりディスプレイに表示されるボインタの位置制御ィンタフェースを有するシステムに対し制御信号を発生する方法であって、カメラにより対象者の顔面を撮像するステップと、前記カメラからの画像信号から瞳孔を検出し、ボインタ制御情報を作成するステップとからなるポ請

ィンタ制御方法。

2 . ポインティングデバイスからの信号によりディスプレイに表示されるボインタの位置制御ィンタフェースを有するシステムに対し制御信号を発生する方法

ξ車

であって、カメラの近傍に配置された第 1の光源囲により対象者の顔面を照射して第 1の顔画像を得るステップと、前記第 1の光源よりもカメラから離隔した位置に配置された第 2の光源により対象者の顔面を照射して第 2の顔画像を得るステップと、前記第 1の顔画像及び前記第 2の顔画像の差分を演算して瞳孔の位置を検出するステップと、検出した瞳孔位置に対応してモニタ上にカーソルを表示するステップとからなるポインタ制御方法。

3 . ポインティングデバイスからの信号によりディスプレイに表示されるポィンタの位置制御ィンタフェースを有するシステムに対し制御信号を発生する装置であって、対象者の顔面を撮像するカメラと、該カメラの近傍に配置され近赤外光を照射する第 1の光源と、該第 1の光源よりも前記カメラから離隔した位置に配置され近赤外光を照射する第 2の光源と、前記第 1及び第 2の光源の照射を制御すると共に、前記カメラにより得られる第 1の光源の照射時の画像と第 2の光源の照射時の画像との差分を演算して瞳孔の位置を検出し、瞳孔の位置座標をモユタ上のカーソル位置制御信号として外部に出力する制御装置とからなるボインタ制御装置。

4 . 前記制御装置は、瞳孔の位置座標の変化分を、マウスが発生する移動信号と同等の信号として外部に出力するィンタフェースを有するものである請求の範囲第 3項記載のボインタ制御装置。

5 . ポインティングデバイスからの信号によりディスプレイに表示されるポィンタの位置制御ィンタフェースを有するシステムに対し制御信号を発生する装置であって、対象者の顔面を撮像するカメラと、該カメラの近傍に配置され近赤外光を照射する第 1の光源と、該第 1の光源よりも前記カメラから離隔した位置に配置され近赤外光を照射する第 2の光源と、前記第 1及び第 2の光源の照射を制御すると共に、前記カメラにより得られる第 1の光源の照射時の画像と第 2の光源の照射時の画像との差分を演算して瞳孔の位置を検出し、かつ画像の時系列的な変化からまぶたの開閉を検出して、モニタ上のカーソル位置制御信号及びカーソル関連のボタン押下信号として外部に出力する制御装置とからなるポインタ制御装置。

6 . 前記制御装置は、瞳孔の位置座標の変化分及びまぶたの開閉状態を、マウスが発生する移動信号及びボタン押下信号と同等の信号として外部に出力するィンタフェースを有するものである請求の範囲第 5項記載の瞳孔位置検出によるポインタ制御装置。

7 . ポインティングデバイスからの信号によりディスプレイに表示されるボインタの位置制御ィンタフヱース及びボインタ位置と関連づけられたユーザの押しボタンによる動作指示をソフトウェアに伝達するィンタフェースを有するシステムに対し制御信号を発生する方法であって、頭部の移動を検知し移動量情報を作成するステップと、左眼及び右眼の開閉を検出し開閉情報を作成するステップと、左右の眼の開閉情報をボインティングデバイスの左右の押しボタンスィツチの押下状態情報に対応づけるステップと、前記移動量情報及び押下状態情報を制御信号として出力するステップとからなるボインタ制御方法。

8 . 前記対応づけるステップは、左眼閉の状態を左（または右）ボタンの押下状態に、右眼閉の状態を右（または左）ボタンの押下状態に対応させるものである請求の範囲第 7項記載のボインタ制御方法。

9 . 前記開閉情報を作成するステップは、眼の開閉状態の変化を検出しても、直ちに開閉情報を変化させず、その開閉状態がしばらく継続することを確認して開閉情報を新しい状態に変化させるものである請求の範囲第 7項記載のボインタ制御方法。

1 0 . 前記開閉情報を作成するステップは、両眼の非検出状態から片眼検出状態に変移したことを検知したときには、両眼の開状態が検出されるまで開閉情報を変化させないものである請求の範囲第 7項記載のボインタ制御方法。

1 1 . 前記開閉情報を作成するステップは、瞳孔の有無により眼の開閉状態を検出するものである請求の範囲第 7項記載のボインタ制御方法。

1 2 . 前記移動量情報を作成するステップは、瞳孔の位置検出により頭部の移動を検知して移動量を作成するものであり、かつ、両瞳孔がともに検出できないときにはボインタの移動を行わせないように移動量情報を設定するものである請求の範囲第 7項記載のボインタ制御方法。

1 3 . 前記移動量情報を作成するステップは、瞳孔の位置検出により頭部の移動を検知して移動量を作成するものであり、かつ、両瞳孔または片瞳孔が直前まで検出されており、一時的に両瞳孔がともに検出できなくなったときには、検出可能となるまでポインタを移動させず、再度検出可能となったときに新たな瞳孔の位置に対応する位置にボインタを移動させるベく移動量情報を作成するものである請求の範囲第 7項記載のボインタ制御方法。

1 4 . 前記移動量情報を作成するステップは、頭部の移動量とポインタの移動量との間に非線型の単調増加関係を持たせるように移動量情報を作成するものである請求の範囲第 7項記載のボインタ制御方法。

1 5 . さらに、眼の開閉に伴う頭部の移動を補正するために、移動量情報を眼の開閉時の状態から過去へ遡つて、開閉直前の安定した状態での移動量とするように補正するステツプを有する請求の範囲第 7項記載のボインタ制御方法。

1 6 . さらに、押しボタンスィッチ、レバースィッチなどの入力手段からの信号を、両眼の開閉情報と合成するステップを有する請求の範囲第 7項記載のボインタ制御方法。

1 7 . さらに、マウス、ジョイスティックなどのポインティングデバイスからの信号を頭部の移動量情報と合成するステップを有する請求の範囲第 7項記載のボインタ制御方法。

1 8 . 前記頭部の移動検知は、頭部に装着されたマーカあるいは瞳孔の 1つまたは 2つを選定し、その位置の検知によりなされるものである請求の範囲第 7項記載のボインタ制御方法。

1 9 . ポインティングデバイスからの信号によりディスプレイに表示されるポィンタの位置制御ィンタフェース及びボインタ位置と関連づけられたユーザの押しボタンによる動作指示をソフトウェアに伝達するインタフヱースを有するシステムに対し制御信号を発生する装置であって、頭部の移動を検知し移動量情報を作成する手段と、左眼及び右眼の開閉を検出し開閉情報を作成する手段と、左右の眼の開閉情報をボインティングデバイスの左右の押しボタンスィツチの押下状態情報に対応づける手段と、前記移動量情報及び押下状態情報を制御信号として出力する手段とからなるボインタ制御装置。