JP6693149B2 - 瞳孔検出装置、および瞳孔検出方法 - Google Patents

Description

本発明は、瞳孔検出装置、および瞳孔検出方法に関する。

カメラの高精度化、処理高速化、および小型化が進み、カメラで撮像した顔の画像から、被験者がモニタ画面などの観察面上で注視している位置を検出する視線検出装置が提案されている。当初は被験者の頭部を固定したり、頭部に検出装置を取り付けたりする技術が多かった。最近は被験者の負担を軽減するために、頭部に装置等を取り付けることが不要な非接触タイプが開発され、さらに精度の高い視線検出装置が求められている。非接触タイプの視線検出装置では、カメラ画像上の瞳孔と角膜反射の位置関係によって視線検出を行う。このため、カメラ画像上の瞳孔中心座標と角膜反射中心座標とを正確に求めることが重要である。特許文献１には、目を撮像した画像から、瞳孔領域と角膜反射領域とを特定する位置検出部を有する視線検出装置が記載されている。

特開２０１５−１２６８５０号公報

ここで、画像上の瞳孔を検出する場合、瞳孔があると推定される瞳孔を検出する。瞳孔検出装置は、例えば、画像に対して顔認識処理を行い、画面上の瞳孔領域を検出するが、処理の演算量が多くなる場合がある。

本発明は、上記に鑑みてなされたものであって、より簡単な処理で瞳孔を検出できる瞳孔検出装置、および瞳孔検出方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の瞳孔検出装置は、人物の瞳孔を含む画像を撮像する撮像部と、前記撮像部が取得した画像から前記人物の瞳孔を抽出する制御部と、有し、前記制御部は、前記瞳孔と前記瞳孔の周囲の輝度変化に対応するパターンと前記画像とのマッチングを行い、前記瞳孔の候補位置を抽出するパターンマッチング部と、前記パターンマッチング部で抽出した前記瞳孔の候補位置を解析し、瞳孔があるかを検出する瞳孔検出部と、を有することを特徴とする。

本発明は、パターンマッチングで瞳孔の候補位置を抽出した後、候補位置から瞳孔を検出することで、少ない処理量で瞳孔を検出できるという効果を奏する。

図１は、１つの光源を使用した場合の被験者の目の様子を示す図である。 図２は、２つの光源を使用した場合の被験者の目の様子を示す図である。 図３は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図４は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図５は、診断支援装置の機能の概要を示す図である。 図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。 図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。 図８は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。 図９は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図１０は、本実施形態の算出処理の一例を示すフローチャートである。 図１１は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１３は、変形例の算出処理を説明するための図である。 図１４は、変形例の算出処理の一例を示すフローチャートである。 図１５は、位置検出部の機能の概要を示す図である。 図１６は、データベースに記憶されている識別器の一例を示す図である。 図１７は、位置検出部の処理の一例を示すフローチャートである。 図１８は、位置検出部の処理を説明するための図である。 図１９は、位置検出部のパターンマッチングの処理を説明するための図である。 図２０は、位置検出部のパターンマッチングの処理を説明するための図である。 図２１は、位置検出部のパターンマッチングの処理を説明するための図である。

以下に、本発明にかかる瞳孔検出装置および瞳孔検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に瞳孔検出装置を用いた例を説明する。適用可能な装置は診断支援装置に限られるものではない。

本実施形態の診断支援装置は、２ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の診断支援装置は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

視点検出を精度よく行うためには、瞳孔位置を正しく検出できることが重要となっている。近赤外の光源を点灯させカメラで撮影した場合、カメラと光源の距離が一定以上離れていると、瞳孔は他の部分より暗くなることがわかっている。この特徴を用いて瞳孔位置が検出される。

本実施形態では、２台のカメラに対して、光源をそれぞれのカメラの外側に２ヶ所配置する。そして、これらの２つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方（遠い方）のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。

この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射を結ぶ直線を世界座標で算出することができない。そこで本実施形態では、２つのタイミングでの、撮像に用いるカメラ相互の位置関係、および、点灯させる光源相互の位置関係を、仮想的な光源の位置（仮想光源位置）に対してそれぞれ対称とする。そして、２つの光源それぞれの点灯時に得られる２つの座標値を、左カメラによる座標値および右カメラによる座標値として世界座標に変換する。これにより、２つの光源それぞれの点灯時に得られる角膜反射位置を用いて、仮想光源と角膜反射を結ぶ直線を世界座標で算出すること、および、この直線に基づき視点を算出することが可能となる。

図１は、１つの光源を使用した場合の被験者の目１１の様子を示す図である。図１に示すように、虹彩１２と瞳孔１３との暗さの差が十分ではなく、区別が困難となる。図２は、２つの光源を使用した場合の被験者の目２１の様子を示す図である。図２に示すように、虹彩２２と瞳孔２３との暗さの差は、図１と比較して大きくなっている。

図３および４は、本実施形態の表示部、ステレオカメラ（撮像部）、赤外線光源および被験者の配置の一例を示す図である。

図３に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラを構成する右カメラ１０２ａ、左カメラ１０２ｂと、ＬＥＤ光源１０３ａ、１０３ｂと、を含む。右カメラ１０２ａ、左カメラ１０２ｂは、表示部１０１の下に配置される。ＬＥＤ光源１０３ａ、１０３ｂは、右カメラ１０２ａ、左カメラ１０２ｂそれぞれの外側の位置に配置される。ＬＥＤ光源１０３ａ、１０３ｂは、例えば波長８５０ｎｍの近赤外線を照射する光源である。図３では、９個のＬＥＤによりＬＥＤ光源１０３ａ、１０３ｂ（照明部）を構成する例が示されている。なお、右カメラ１０２ａ、左カメラ１０２ｂは、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。なお、ＬＥＤ光源１０３ａ、１０３ｂと、右カメラ１０２ａ、左カメラ１０２ｂとの位置を逆にして、ＬＥＤ光源１０３ａ、１０３ｂを、右カメラ１０２ａ、左カメラ１０２ｂそれぞれの内側の位置に配置されていてもよい。

図４に示すように、ＬＥＤ光源１０３ａ、１０３ｂは、被験者の眼球１１１に向かって近赤外光を照射する。ＬＥＤ光源１０３ａを照射したときに左カメラ１０２ｂで撮影を行い、ＬＥＤ光源１０３ｂを照射したときに右カメラ１０２ａで撮影を行う。右カメラ１０２ａおよび左カメラ１０２ｂと、ＬＥＤ光源１０３ａ、１０３ｂとの位置関係を適切に設定することにより、撮影される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ１０２ａ、左カメラ１０２ｂ）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図５は、診断支援装置１００の機能の概要を示す図である。図５では、図３および４に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図５に示すように、診断支援装置１００は、右カメラ１０２ａと、左カメラ１０２ｂと、左カメラ１０２ｂ用のＬＥＤ光源１０３ａと、右カメラ１０２ａ用のＬＥＤ光源１０３ｂと、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図５において、表示画面２０１は、右カメラ１０２ａおよび左カメラ１０２ｂとの位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信ＩＦと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。

図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。図６に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部３１３には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ１０２ａ、左カメラ１０２ｂが接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。右カメラ１０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ１０２ｂとＬＥＤ駆動制御部３１６とに入力される。これにより、ＬＥＤ光源１０３ａ、１０３ｂを発光させ、それに対応して左右カメラによる画像を取り込んでいる。

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、点灯制御部３５１と、位置検出部３５２と、曲率中心算出部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、評価部３５７と、を備えている。

制御部３００に含まれる各要素（点灯制御部３５１、位置検出部３５２、曲率中心算出部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６および評価部３５７）は、ＣＰＵなどにより実行されるソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。本実施形態の診断支援装置１００で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いて、ＬＥＤ光源１０３ａ、１０３ｂの点灯を制御する。例えば点灯制御部３５１は、ＬＥＤ光源１０３ａ、１０３ｂを、相互に異なるタイミングで点灯するように制御する。タイミングの差（時間）は、例えば、被験者の視線の移動等による視線検出結果への影響が生じない時間として予め定められた時間とすればよい。

位置検出部３５２は、ステレオカメラにより撮像された眼球の画像から、瞳孔領域を検出し、瞳孔領域から瞳孔を検出し、瞳孔の輪郭を検出し、瞳孔の輪郭から瞳孔の中心を示す瞳孔中心の位置を算出する。また位置検出部３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置を算出する。

曲率中心算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ直線から、角膜曲率中心を算出する。例えば、曲率中心算出部３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、曲率中心算出部３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、曲率中心算出部３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心と仮想光源位置とを結ぶ直線と、の交点を算出する。そして曲率中心算出部３５３は、瞳孔中心と算出した交点との距離を算出し、例えば記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５６が、表示画面２０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面２０１の中央に限られるものではなく、任意の位置でよい。表示画面２０１の中央を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、曲率中心算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。曲率中心算出部３５３が、仮想光源位置と、表示部上の目標画像を示す所定の位置と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心を算出する算出部に相当する。

視線検出部３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

視点検出部３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５５は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５５は、例えば図２のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

出力制御部３５６は、表示部１０１およびスピーカ２０５などに対する各種情報の出力を制御する。例えば、出力制御部３５６は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５６は、診断画像、および、評価部３５７による評価結果などの表示部１０１に対する出力を制御する。

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。また、自閉スペクトラム症（ＡＳＤ）で用いられる診断画像としては、少なくとも人の顔を含む画像となっている。

評価部３５７は、診断画像と、視点検出部３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像部分を注視したか否かを評価する。

図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。図７の例では、２つのＬＥＤ光源１０３ａ、１０３ｂの代わりに、１つのＬＥＤ光源２０３が用いられる。

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、１つのＬＥＤ光源２０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。ＬＥＤ光源２０３は、ここでは１個のＬＥＤとしているが、数個の小さいＬＥＤを組み合わせて１ヵ所に配置されたものであっても構わない。

図８は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。

角膜反射点６２１は左カメラ１０２ｂで撮影したときの画像上の角膜反射点を表す。角膜反射点６２２は右カメラ１０２ａで撮影したときの画像上の角膜反射点を表す。本実施形態では、右カメラ１０２ａと右カメラ用のＬＥＤ光源１０３ｂ、および、左カメラ１０２ｂと左カメラ用のＬＥＤ光源１０３ａは、例えば右カメラ１０２ａと左カメラ１０２ｂの中間位置を通る直線に対して左右対称の位置関係にある。このため、右カメラ１０２ａと左カメラ１０２ｂの中間位置（仮想光源位置）に仮想光源３０３があるとみなすことができる。角膜反射点６２４は、仮想光源３０３に対応する角膜反射点を表す。角膜反射点６２１の座標値と角膜反射点６２２の座標値を、左右カメラの座標値を三次元世界座標に変換する変換パラメータを用いて変換することにより、角膜反射点６２４の世界座標値が算出できる。仮想光源３０３と角膜反射点６２４を結ぶ直線５２３上に角膜の曲率中心５０５が存在する。従って、図７で表した光源が１ヵ所の視線検出方法と同等の方法で視点検出が可能である。

なお右カメラ１０２ａと左カメラ１０２ｂとの位置関係、および、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとの位置関係は、上述の位置関係に限られるものではない。例えば同一の直線に対して、それぞれの位置関係が左右対称となる関係であってもよいし、右カメラ１０２ａと左カメラ１０２ｂと、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとは同一直線上になくてもよい。

図９は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、仮想光源３０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。曲率中心算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図１０は、本実施形態の算出処理の一例を示すフローチャートである。

まず出力制御部３５６は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３ａ、１０３ｂのうち一方を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部３００は、左右カメラ（右カメラ１０２ａ、左カメラ１０２ｂ）のうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像する（ステップＳ１０３）。次に、点灯制御部３５１は、ＬＥＤ光源１０３ａ、１０３ｂのうち他方を被験者の目に向けて点灯させる（ステップＳ１０４）。制御部３００は、左右カメラのうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像する（ステップＳ１０５）。

なお、点灯したＬＥＤ光源からの距離が長いカメラ以外のカメラによる撮像を停止しなくてもよい。すなわち、少なくとも点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像し、撮像した画像が座標算出等に利用可能となっていればよい。

ＬＥＤ光源１０３ａまたはＬＥＤ光源１０３ｂの照射により、瞳孔部分（瞳孔領域）は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、位置検出部３５２は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。位置検出部３５２は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、位置検出部３５２は、撮像された画像から角膜反射部分（角膜反射領域）を検出し、角膜反射中心の位置を示す座標を算出する。なお、位置検出部３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０６）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

位置検出部３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０７）。例えば位置検出部３５２は、ＬＥＤ光源１０３ａが点灯されたときに左カメラ１０２ｂにより撮像された画像から得られた座標を左カメラの座標とし、ＬＥＤ光源１０３ｂが点灯されたときに右カメラ１０２ａにより撮像された画像から得られた座標を右カメラの座標として、変換パラメータを用いて三次元世界座標への変換を行う。この結果得られる世界座標値は、仮想光源３０３から光が照射されたと仮定したときに左右カメラで撮像された画像から得られる世界座標値に対応する。曲率中心算出部３５３は、求めた角膜反射中心の世界座標と、仮想光源３０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０８）。次に、曲率中心算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０９）。曲率中心算出部３５３は、ステップＳ１０８で算出した直線とステップＳ１０９で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１１０）。曲率中心算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１１１）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

算出処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

図１１は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、仮想光源３０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。

図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図１２の視線検出処理を実行することができる。診断処理では、図１２の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部３５７による評価処理などが実行される。

ステップＳ２０１〜ステップＳ２０７は、図１０のステップＳ１０２〜ステップＳ１０８と同様であるため説明を省略する。

曲率中心算出部３５３は、ステップＳ２０７で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０８）。

視線検出部３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０９）。このベクトルが、被験者が見ている視線方向を示している。視点検出部３５５は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２１０）。この値が、被験者が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２１１）。これにより、被験者が見つめる表示部１０１上の視点（注視点）を算出することができる。

（変形例）
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図９および図１０で説明した方法に限られるものではない。以下では、算出処理の他の例について図１３および図１４を用いて説明する。

図１３は、本変形例の算出処理を説明するための図である。図３〜図６および図９で説明した要素については同一の符号を付し説明を省略する。

線分１１０１は、目標位置６０５と仮想光源位置とを結ぶ線分である。線分１１０２は、線分１１０１と平行で、瞳孔中心６１１と直線６１３とを結ぶ線分である。本変形例では、以下のように、線分１１０１、線分１１０２を用いて瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図１４は、本変形例の算出処理の一例を示すフローチャートである。

ステップＳ３０１〜ステップＳ３０９は、図１０のステップＳ１０１〜ステップＳ１０９と同様であるため説明を省略する。

曲率中心算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心と、仮想光源位置とを結ぶ線分（図１３では線分１１０１）を算出するとともに、算出した線分の長さ（Ｌ１１０１とする）を算出する（ステップＳ３１０）。

曲率中心算出部３５３は、瞳孔中心６１１を通り、ステップＳ３１０で算出した線分と平行な線分（図１３では線分１１０２）を算出するとともに、算出した線分の長さ（Ｌ１１０２とする）を算出する（ステップＳ３１１）。

曲率中心算出部３５３は、角膜曲率中心６１５を頂点とし、ステップＳ３１０で算出した線分を下辺とする三角形と、角膜曲率中心６１５を頂点とし、ステップＳ３１１で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心６１１と角膜曲率中心６１５との間の距離６１６を算出する（ステップＳ３１２）。例えば曲率中心算出部３５３は、線分１１０１の長さに対する線分１１０２の長さの比率と、目標位置６０５と角膜曲率中心６１５との間の距離に対する距離６１６の比率と、が等しくなるように、距離６１６を算出する。

距離６１６は、以下の（１）式により算出することができる。なおＬ６１４は、目標位置６０５から瞳孔中心６１１までの距離である。
距離６１６＝（Ｌ６１４×Ｌ１１０２）／（Ｌ１１０１−Ｌ１１０２）・・・（１）

曲率中心算出部３５３は、算出した距離６１６を記憶部１５０などに記憶する（ステップＳ３１３）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

次に、図１５から図２１を用いて、位置検出部３５２で瞳孔を検出する対象の領域である瞳孔領域を特定する処理を説明する。位置検出部３５２は、上述したように、検出した瞳孔領域から瞳孔中心を検出し、角膜反射の位置を検出する。図１５は、位置検出部の機能の概要を示す図である。図１６は、データベースに記憶されている識別器の一例を示す図である。図１７は、位置検出部の処理の一例を示すフローチャートである。図１８は、位置検出部の処理を説明するための図である。図１９から図２１は、位置検出部のパターンマッチングの処理を説明するための図である。

位置検出部３５２は、パターンマッチング部３７０と、瞳孔検出部３７２と、データベース３７４と、を有する。ここで、位置検出部３５２が処理する対象の画像は、モノクロ画像であることが好ましい。パターンマッチング部３７０は、瞳孔と瞳孔の周囲の輝度変化に対応するパターンと画像とのマッチングを行い、瞳孔の候補位置を抽出する。パターンマッチング部３７０は、パターン制御部３８０と、比較部３８２と、を有する。パターン制御部３８０は、使用するパターン（識別器）を選択し、パターンを画像上で移動させる。比較部３８２は、複数のパターンを用いて抽出処理を行い、抽出処理によって抽出された候補を比較する。パターンマッチング部３７０は、抽出処理として、１つのパターンを特定する。パターンマッチング部３７０は、特定したパターンと画像の各領域とを比較し、パターンの輝度分布と一致する領域を抽出する。パターンマッチング部３７０は、複数のパターンで抽出処理を行った結果に基づいて、パターンと一致すると抽出した領域の優先順位を決定し、優先順位が高い候補を瞳孔の候補位置とする。

瞳孔検出部３７２は、パターンマッチング部３７０で抽出した前記瞳孔の候補位置を解析し、瞳孔があるかを検出する。瞳孔検出部３７２は、瞳孔の候補位置の画像から瞳孔の境界と角膜反射の存在を確認できた位置を瞳孔として検出する。

データベース３７４は、パターンマッチング部３７０でパターンマッチングに用いるパターン（識別器）を記憶している。本実施形態のデータベース３７４は、図１６に示すように第１識別器２２０、第２識別器２２２、第３識別器２２４、第４識別器２２６、第５識別器２２８、第６識別器２３０、第７識別器２３２、第８識別器２３４の８つの識別器を記憶している。識別器は、第一領域と第二領域とを有する。識別器は、第一領域に第一輝度が対応つけられ、第二領域に第二輝度が対応つけられている。識別器は、第一輝度が第二輝度より明るいと設定されており、パターン（識別器）の第一輝度と第二輝度の分布が画像の各領域の輝度分布と一致する場合に当該領域を瞳孔の候補位置として抽出する。第一輝度と第二輝度とは、それぞれの領域の平均輝度である。例えば、パターンの第一領域に重畳される画像の平均輝度である第一輝度が、パターンの第二領域に重畳される画像の平均輝度である第二輝度よりも高い場合は、瞳孔の候補位置として抽出する。

図１６に示す８つの識別器は、予め設定された向きで画像に対して重ねられる。第１識別器２２０は、第一領域２５０ａと、第二領域２５０ｂと、を有する。第１識別器２２０は、第一領域２５０ａと第二領域２５０ｂとが画像上下方向に分離されている。第１識別器２２０は、第一領域２５０ａが第二領域２５０ｂの画像上下方向の上側に配置されている。第１識別器２２０は、一辺がａ画素の正方形のパターンである。第２識別器２２２は、第一領域２５２ａと、第二領域２５２ｂと、を有する。第２識別器２２２は、第一領域２５２ａと第二領域２５２ｂとが画像左右方向に分離されている。第２識別器２２２は、第一領域２５２ａが第二領域２５２ｂの画像左右方向の右側に配置されている。

第３識別器２２４は、第一領域２５４ａ、２５４ｂと第二領域２５０ｃとを有する。第３識別器２２４は、第一領域２５４ａ、２５４ｂと第二領域２５０ｃとが画像上下方向に分離されている。第３識別器２２４は、第二領域２５４ｃの画像上下方向の上側に第一領域２５４ａが配置され、第二領域２５４ｃの画像上下方向の下側に第一領域２５４ｂが配置されている。第３識別器２２４は、第一領域２５４ａ、２５４ｂの画像上下方向の長さが第二領域２５４ｃよりも短い。

第４識別器２２６は、第一領域２５６ａ、２５６ｂと第二領域２５６ｃとを有する。第４識別器２２６は、第一領域２５６ａ、２５６ｂと第二領域２５６ｃとが画像上下方向に分離されている。第４識別器２２６は、第二領域２５６ｃの画像上下方向の上側に第一領域２５６ａが配置され、第二領域２５６ｃの画像上下方向の下側に第一領域２５６ｂが配置されている。第４識別器２２６は、第一領域２５６ａ、２５６ｂの画像上下方向の長さが第二領域２５６ｃよりも長い。

第５識別器２２８は、第一領域２５８ａ、２５８ｂと第二領域２５８ｃとを有する。第５識別器２２８は、第一領域２５８ａ、２５８ｂと第二領域２５８ｃとが画像左右方向に分離されている。第５識別器２２８は、第二領域２５８ｃの画像左右方向の左側に第一領域２５８ａが配置され、第二領域２５８ｃの画像左右方向の右側に第一領域２５８ｂが配置されている。第５識別器２２８は、第一領域２５８ａ、２５８ｂの画像左右方向の長さが第二領域２５８ｃよりも短い。

第６識別器２３０は、第一領域２６０ａ、２６０ｂと第二領域２６０ｃと、を有する。第６識別器２３０は、第一領域２６０ａ、２６０ｂと第二領域２６０ｃとが画像左右方向に分離されている。第６識別器２３０は、第二領域２６０ｃの画像左右方向の左側に第一領域２６０ａが配置され、第二領域２６０ｃの画像左右方向の右側に第一領域２６０ｂが配置されている。第６識別器２３０は、第一領域２６０ａ、２６０ｂの画像左右方向の長さが第二領域２６０ｃよりも長い。

第７識別器２３２は、第一領域２６２ａと第二領域２６２ｂとを有する。第７識別器２３２は、四角形であり、四角形の対角線を境界として、第一領域２６２ａと第二領域２６２ｂとが分離されている。第７識別器２３２は、第一領域２６２ａが第二領域２６２ｂの画像左上側に配置されている。

第８識別器２３４は、第一領域２６４ａと第二領域２６４ｂとを有する。第８識別器２３４は、四角形であり、四角形の対角線を境界として、第一領域２６４ａと第二領域２６４ｂとが分離されている。第８識別器２３４は、第一領域２６４ａが第二領域２６４ｂの画像左上側に配置されている。

次に、図１７及び図１８を用いて、位置検出部３５２で画像に対して実行する処理の一例について説明する。図１７は、処理の流れを示すフローチャートである。図１８は、画面に対する処理を模式的に示す図である。位置検出部３５２は、パターンマッチングに用いるパターン（識別器）を決定する（ステップＳ４０１）。次に、位置検出部３５２は、決定したパターンでパターンマッチングを実行する（ステップＳ４０２）。具体的には、図１８及び図１９に示すように、画像２９０の対象領域２９１を特定し、特定した対象領域２９１に第２識別器２２２を重ね、第２識別器２２２と、画像２９０の重なる位置とでパターンマッチングを行う。ここで、画像２９０は、上下方向ｂ画素、左右方向ｃ画素の画像である。例えば、第１識別器２２０のａ画素のａが６４画素とすると、画像２９０のｂ画素が４８０画素であり、ｃ画素が７５２画素である。

位置検出部３５２は、全てのパターンの処理が終了したかを判定する（ステップＳ４０３）。位置検出部３５２は、全てのパターンの処理が終了していない（ステップＳ４０３でＮｏ）と判定した場合、ステップＳ４０１に戻り、パターンマッチングを行っていないパターンについて、ステップＳ４０１からステップＳ４０２の処理を実行する。位置検出部３５２は、対象領域に対して８つのパターンで順番にパターンマッチングを行う。

位置検出部３５２は、全てのパターンの処理が終了した（ステップＳ４０３でＹｅｓ）と判定した場合、本実施形態では、８つの識別器でのパターンマッチングを行ったと判定した場合、画像の全域の検出を終了したかを判定する（ステップＳ４０４）。

位置検出部３５２は、画像の全域を検出していない（ステップＳ４０４でＮｏ）と判定した場合、パターンマッチングを行う対象領域を移動させ（ステップＳ４０５）、ステップＳ４０１に戻り、移動させた対象領域に対してステップＳ４０１からステップＳ４０４の処理を行う。

位置検出部３５２は、パターンでパターンマッチングを行う対象領域２９０を画像左右方向に移動させる。位置検出部３５２は、対象領域２９１を対称領域２９１ａに示すように、画像２９０の左右方向の一端から他端までマッチングを行ったら、対象領域２９１ｂのように画像下方向に移動させる。これにより、位置検出部３５２は、画像２９０の各位置と第１識別器２２０とを重ねる。なお、対象領域の移動量は、１画素としてもよいが、数画素、例えば８画素とすることが好ましい。対象領域を複数画素分移動させることで処理をより少なくすることができる。つまり、図１８に示すように、対象領域を決定したら、ステップＳ４０１からステップＳ４０５の処理、つまり８つの識別器で順番にパターンマッチングを行い、対象領域を数画素移動させる処理を行う。次に、移動させた対象領域に対してもステップＳ４０１からステップＳ４０５の処理、つまり８つの識別器で順番にパターンマッチングを行い、対象領域を数画素移動させる処理を行う。対象領域２９１を画面上で移動させつつ、画像全体に対してパターンマッチングを行う。

位置検出部３５２は、画像の全域を検出した（ステップＳ４０４でＹｅｓ）と判定した場合、各パターンで抽出した瞳孔の候補位置から解析対象の瞳孔の候補位置を決定する（ステップＳ４０６）。具体的には位置検出部３５２は、複数の識別器のパターンマッチングの結果に基づいて、より多くのパターンで瞳孔の候補位置となった位置をより優先度が高い瞳孔の候補位置に決定する。位置検出部３５２は、図２０に示すように第４識別器２２６のパターンマッチングで領域２９２を瞳孔の候補位置として抽出され（ステップＳ５０１）、第１識別器２２０のパターンマッチングで領域２９２を瞳孔の候補位置として抽出され（ステップＳ５０２）、第７識別器２３２のパターンマッチングで領域２９２を瞳孔の候補位置として抽出されない（ステップＳ５０３）場合、瞳孔の候補位置として解析対象とはしない。位置検出部３５２は、図２１に示すように第４識別器２２６のパターンマッチングで領域２９４を瞳孔の候補位置として抽出され（ステップＳ６０１）、第１識別器２２０のパターンマッチングで領域２９４を瞳孔の候補位置として抽出され（ステップＳ６０２）、第７識別器２３２のパターンマッチングで領域２９４を瞳孔の候補位置として抽出される（ステップＳ６０３）場合、瞳孔の候補位置として解析対象とする。これにより、図１８の画像２９０ａに示すように、画像から複数の瞳孔の候補位置２９５を抽出する。瞳孔の候補位置２９５には、瞳孔以外の領域に含まれる場合がある。

位置検出部３５２は、解析対象の瞳孔の候補位置を決定した場合、瞳孔の候補位置以外の領域にマスキングを行う（ステップＳ４０７）。具体的には、図１８の画面２９０ｂに示すように瞳孔の候補位置２９５以外の領域をマスクで覆う処理、具体的には、瞳孔の候補位置２９５以外の領域を同じ色の画素にする。位置検出部３５２は、マスキング処理を行ったら、マスキング処理を画像に対して、瞳孔検出部３７２で瞳孔の候補位置を解析し、瞳孔を検出する（ステップＳ４０８）。具体的には、図１８に示すようにマスキング処理を行い、瞳孔の候補位置２９５の画像のみが残った画像２９０ｃに対して、瞳孔を検出する処理を行う。一例としては、画像２９０ｃの中で最も暗い位置を検出し、暗い位置が瞳孔の条件を満たすかを判定する。瞳孔を検出する処理を行うことで、画像２９０ｄに示すように、瞳孔の位置２９６を検出する。画像２９０ｄでは、画像２９０の中に人物が１名いるので、一人の人物の両目を瞳孔の位置２９６として検出する。

位置検出部３５２は、以上のようにパターンマッチング部３７０で、領域の輝度分布から、瞳孔の候補位置を特定し、特定した候補位置のみ瞳孔検出部で瞳孔の検出を行うことで、瞳孔の検出に必要な処理量を少なくすることができる。本実施形態では、パターンの各領域の輝度の比較のみでパターンマッチングを行うため、パターンマッチングでの処理量の増加を抑制することができる。また、複数のパターンを用いて、パターンマッチングを行い、その結果に基づいて、優先順位を決定し優先順位の高い位置を瞳孔の候補位置とすることで、瞳孔の検出漏れを抑制することができる。なお、本実施形態では８つの識別器のパターンを説明しているが、個数やパターンは上記に限らない。また、パターンマッチングの処理についても、上述した処理に限らず、パターンの第一領域に重畳される画像が第一輝度であるかを判断し、パターンの第二領域に重畳される画像が第二輝度であるかを判断して、どちらも一致した場合は瞳孔の候補位置として抽出してもよい。

また、位置検出部３５２は、パターンマッチングを実行した際、２つの領域の輝度差がない、例えば黒、白の領域を、マスキングし、パターンマッチングの処理の対象から除外してもよい。これにより、処理量をより少なくすることができる。また、位置検出部３５２は、パターンマッチングで検出されやすいパターンから処理を実行し、所定数のパターンを実行した後は、瞳孔の候補位置のみパターンマッチングを行うようにしてもよい。

位置検出部３５２は、パターンマッチング部３７０で抽出した瞳孔の候補位置以外の位置をマスキングすることで、処理をより簡単にすることができる。なお、マスキング処理は行わなくてもよい。

１００ 診断支援装置
１０１ 表示部
１０２ａ 右カメラ
１０２ｂ 左カメラ
１０３ａ、１０３ｂ ＬＥＤ光源
１５０ 記憶部
２０１ 表示画面
２０５ スピーカ
３００ 制御部
３１３ 駆動・ＩＦ部
３１６ ＬＥＤ駆動制御部
３２２ スピーカ駆動部
３５１ 点灯制御部
３５２ 位置検出部
３５３ 曲率中心算出部
３５４ 視線検出部
３５５ 視点検出部
３５６ 出力制御部
３５７ 評価部
３７０ パターンマッチング部
３７２ 瞳孔検出部
３７４ データベース
３８０ パターン制御部
３８２ 比較部

Claims (5)

1. 瞳孔を含む画像を撮像する撮像部と、
   前記瞳孔と前記瞳孔の周囲の輝度変化に対応するパターンと前記画像とのマッチングを行い、前記瞳孔の候補位置を抽出するパターンマッチング部と、
   前記パターンマッチング部で抽出した前記瞳孔の候補位置を解析し、瞳孔を検出する処理を行なう瞳孔検出部と
   を有し、
   前記パターンマッチング部は、複数の前記パターンを用いてマッチング処理を行い、より多くの前記パターンと一致した位置を前記瞳孔の候補位置とする
   ことを特徴とする瞳孔検出装置。
2. 前記パターンマッチング部で抽出した前記瞳孔の候補位置以外の位置をマスキングするマスキング部を更に有し、
   前記瞳孔検出部は、前記瞳孔の候補位置以外の位置をマスキングした前記画像を解析し、瞳孔を検出する処理を行なう
   ことを特徴とする請求項１に記載の瞳孔検出装置。
3. 前記パターンは、第一輝度の第一領域と前記第一輝度よりも輝度が低い第二輝度の第二領域とを含み、
   前記パターンマッチング部は、前記パターンと前記画像とをマッチングした時に、前記パターンの前記第一領域に相当する前記画像の領域における平均輝度が、前記パターンの前記第二領域に相当する前記画像の領域における平均輝度よりも高い場合に一致したと判定する
   ことを特徴とする請求項１または２に記載の瞳孔検出装置。
4. 前記瞳孔検出部は、前記瞳孔の候補位置の画像から瞳孔の境界と角膜反射の存在を確認できた位置を前記瞳孔として検出することを特徴とする請求項１から３のいずれか一項に記載の瞳孔検出装置。
5. 瞳孔を含む画像と前記瞳孔と前記瞳孔の周囲の輝度変化に対応するパターンとのマッチングを行い、前記瞳孔の候補位置を抽出するパターンマッチングステップと、
   前記パターンマッチングステップで抽出した前記瞳孔の候補位置を解析し、瞳孔を検出する処理を行なう瞳孔検出ステップと、を有し、
   前記パターンマッチングステップは、複数の前記パターンを用いてマッチング処理を行い、より多くの前記パターンと一致した位置を前記瞳孔の候補位置とする
   ことを特徴とする瞳孔検出方法。