JP6593133B2 - 診断支援装置および診断支援方法 - Google Patents

Description

本発明は、診断支援装置および診断支援方法に関する。

最近、発達障がい者が増加傾向にあると言われている。発達障がいは、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足、および、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障がいの診断支援装置が求められている。

発達障がい者の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。また、人物映像より幾何学模様の映像を好むことが知られている。そこで、カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより、注視点を検出する方法などを応用して、発達障がいを診断支援する方法が提案されている（例えば特許文献１）。

特開２０１１−２０６５４２号公報

診断支援装置により診断される発達障がいとしては、例えば、自閉スペクトラム症（ＡＳＤ：Autistic Spectrum Disorders）がある。診断支援装置では、静止した人の映像において人の目を見るか、口が動く映像において、口を見た後に目を見るかということで、自閉スペクトラム症（ＡＳＤ）の診断支援を行うことが可能であるが、より精度よく診断支援可能な装置が求められていた。

本発明は、上記に鑑みてなされたものであって、精度よく自閉スペクトラム症（ＡＳＤ）の診断支援が可能な診断支援装置および診断支援方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、前記視線方向に基づいて、前記表示部の表示領域における前記被験者の視点を検出する視点検出部と、少なくとも人の顔を含む診断画像を前記表示部に表示させる出力制御部と、前記診断画像における前記顔の輪郭部分に輪郭エリアを設定するエリア設定部と、前記輪郭エリア内への前記視点の停留を検出するエリア内検出部と、前記エリア内検出部により前記視点が前記輪郭エリアに停留したと検出したときの、前記輪郭エリア内における前記視点の停留時間に基づいて、前記被験者の評価値を算出する評価部と、を備えることを特徴とする。

本発明にかかる診断支援装置および診断支援方法は、精度よく自閉スペクトラム症（ＡＳＤ）の診断支援が可能になるという効果を奏する。

図１は、１つの光源を使用した場合の被験者の目の様子を示す図である。 図２は、２つの光源を使用した場合の被験者の目の様子を示す図である。 図３は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図４は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。 図５は、診断支援装置の機能の概要を示す図である。 図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。 図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。 図８は、本実施形態の診断支援装置により実行される処理の概要を説明する図である。 図９は、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。 図１０は、本実施形態の算出処理の一例を示すフローチャートである。 図１１は、事前に求めた距離を使用して角膜曲率中心の位置を算出する方法を示した図である。 図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。 図１３は、変形例の算出処理を説明するための図である。 図１４は、変形例の算出処理の一例を示すフローチャートである。 図１５は、表示される映像（診断画像）の一例を示す図である。 図１６は、診断画像に対する注視パターンの一例を示す図である。 図１７は、表示される映像（診断画像）に設定されるエリアを示す図である。 図１８は、本実施形態における診断支援処理の一例を示すフローチャートである。

以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に適用した例を説明する。適用可能な装置は診断支援装置に限られるものではない。

本実施形態の診断支援装置は、被験者が注視する診断画像のエリアに基づいて評価を行うことで、自閉スペクトラム症（ＡＳＤ）を高い精度で診断支援を実現できるようにした診断支援装置である。なお、本実施形態の診断支援装置は、ＡＳＤの他、ＡＤＨＤ等の発達障がいの診断支援を実行可能であってもよい。

本実施形態の診断支援装置は、２ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の診断支援装置は、視線検出前に被験者に１点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。

なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばＬＥＤ（Light Emitting Diode）などの光を発生する素子である。光源は、１個のＬＥＤから構成されてもよいし、複数のＬＥＤを組み合わせて１ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。

視点検出を精度よく行うためには、瞳孔位置を正しく検出できることが重要となっている。近赤外の光源を点灯させカメラで撮影した場合、カメラと光源の距離が一定以上離れていると、瞳孔は他の部分より暗くなることがわかっている。この特徴を用いて瞳孔位置が検出される。

本実施形態では、２台のカメラに対して、光源をそれぞれのカメラの外側に２ヶ所配置する。そして、これらの２つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方（遠い方）のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。

この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射を結ぶ直線を世界座標で算出することができない。そこで本実施形態では、２つのタイミングでの、撮像に用いるカメラ相互の位置関係、および、点灯させる光源相互の位置関係を、仮想的な光源の位置（仮想光源位置）に対してそれぞれ対称とする。そして、２つの光源それぞれの点灯時に得られる２つの座標値を、左カメラによる座標値および右カメラによる座標値として世界座標に変換する。これにより、２つの光源それぞれの点灯時に得られる角膜反射位置を用いて、仮想光源と角膜反射を結ぶ直線を世界座標で算出すること、および、この直線に基づき視点を算出することが可能となる。

図１は、１つの光源を使用した場合の被験者の目１１の様子を示す図である。図１に示すように、虹彩１２と瞳孔１３との暗さの差が十分ではなく、区別が困難となる。図２は、２つの光源を使用した場合の被験者の目２１の様子を示す図である。図２に示すように、虹彩２２と瞳孔２３との暗さの差は、図１と比較して大きくなっている。

図３および４は、本実施形態の表示部、ステレオカメラ（撮像部）、赤外線光源および被験者の配置の一例を示す図である。

図３に示すように、本実施形態の診断支援装置は、表示部１０１と、ステレオカメラを構成する右カメラ１０２ａ、左カメラ１０２ｂと、ＬＥＤ光源１０３ａ、１０３ｂと、を含む。右カメラ１０２ａ、左カメラ１０２ｂは、表示部１０１の下に配置される。ＬＥＤ光源１０３ａ、１０３ｂは、右カメラ１０２ａ、左カメラ１０２ｂそれぞれの外側の位置に配置される。ＬＥＤ光源１０３ａ、１０３ｂは、例えば波長８５０ｎｍの近赤外線を照射する光源である。図３では、９個のＬＥＤによりＬＥＤ光源１０３ａ、１０３ｂ（照明部）を構成する例が示されている。なお、右カメラ１０２ａ、左カメラ１０２ｂは、波長８５０ｎｍの近赤外光を透過できるレンズを使用する。なお、ＬＥＤ光源１０３ａ、１０３ｂと、右カメラ１０２ａ、左カメラ１０２ｂとの位置を逆にして、ＬＥＤ光源１０３ａ、１０３ｂを、右カメラ１０２ａ、左カメラ１０２ｂそれぞれの内側の位置に配置されていてもよい。

図４に示すように、ＬＥＤ光源１０３ａ、１０３ｂは、被験者の眼球１１１に向かって近赤外光を照射する。ＬＥＤ光源１０３ａを照射したときに左カメラ１０２ｂで撮影を行い、ＬＥＤ光源１０３ｂを照射したときに右カメラ１０２ａで撮影を行う。右カメラ１０２ａおよび左カメラ１０２ｂと、ＬＥＤ光源１０３ａ、１０３ｂとの位置関係を適切に設定することにより、撮影される画像では、瞳孔１１２が低輝度で反射して暗くなり、眼球１１１内に虚像として生じる角膜反射１１３が高輝度で反射して明るくなる。従って、瞳孔１１２および角膜反射１１３の画像上の位置を２台のカメラ（右カメラ１０２ａ、左カメラ１０２ｂ）それぞれで取得することができる。

さらに２台のカメラにより得られる瞳孔１１２および角膜反射１１３の位置から、瞳孔１１２および角膜反射１１３の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。

図５は、診断支援装置１００の機能の概要を示す図である。図５では、図３および４に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図５に示すように、診断支援装置１００は、右カメラ１０２ａと、左カメラ１０２ｂと、左カメラ１０２ｂ用のＬＥＤ光源１０３ａと、右カメラ１０２ａ用のＬＥＤ光源１０３ｂと、スピーカ２０５と、駆動・ＩＦ（interface）部３１３と、制御部３００と、記憶部１５０と、表示部１０１と、を含む。図５において、表示画面２０１は、右カメラ１０２ａおよび左カメラ１０２ｂとの位置関係を分かりやすく示しているが、表示画面２０１は表示部１０１において表示される画面である。なお、駆動部とＩＦ部は一体でもよいし、別体でもよい。

スピーカ２０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。

駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部を駆動する。また、駆動・ＩＦ部３１３は、ステレオカメラに含まれる各部と、制御部３００とのインタフェースとなる。

制御部３００は、例えば、ＣＰＵ（Central Processing Unit）などの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの記憶装置と、ネットワークに接続して通信を行う通信ＩＦと、各部を接続するバスを備えているコンピュータなどにより実現できる。

記憶部１５０は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部１５０は、例えば、表示部１０１に表示する画像等を記憶する。表示部１０１は、診断のための対象画像等、各種情報を表示する。

図６は、図５に示す各部の詳細な機能の一例を示すブロック図である。図６に示すように、制御部３００には、表示部１０１と、駆動・ＩＦ部３１３が接続される。駆動・ＩＦ部３１３は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部３１３には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ１０２ａ、左カメラ１０２ｂが接続される。駆動・ＩＦ部３１３がこれらのカメラを駆動することにより、被験者を撮像する。右カメラ１０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ１０２ｂとＬＥＤ駆動制御部３１６とに入力される。これにより、ＬＥＤ光源１０３ａ、１０３ｂを発光させ、それに対応して左右カメラによる画像を取り込んでいる。

スピーカ駆動部３２２は、スピーカ２０５を駆動する。なお、診断支援装置１００が、印刷部としてのプリンタと接続するためのインタフェース（プリンタＩＦ）を備えてもよい。また、プリンタを診断支援装置１００の内部に備えるように構成してもよい。

制御部３００は、診断支援装置１００全体を制御する。制御部３００は、点灯制御部３５１と、位置検出部３５２と、曲率中心算出部３５３と、視線検出部３５４と、視点検出部３５５と、出力制御部３５６と、評価部３５７と、エリア設定部３５８と、エリア内検出部３５９と、を備えている。

制御部３００に含まれる各要素（点灯制御部３５１、位置検出部３５２、曲率中心算出部３５３、視線検出部３５４、視点検出部３５５、出力制御部３５６、評価部３５７、エリア設定部３５８およびエリア内検出部３５９）は、ソフトウェア（プログラム）で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。

プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いて、ＬＥＤ光源１０３ａ、１０３ｂの点灯を制御する。例えば点灯制御部３５１は、ＬＥＤ光源１０３ａ、１０３ｂを、相互に異なるタイミングで点灯するように制御する。タイミングの差（時間）は、例えば、被験者の視線の移動等による視線検出結果への影響が生じない時間として予め定められた時間とすればよい。

位置検出部３５２は、ステレオカメラにより撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置を算出する。また位置検出部３５２は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置を算出する。

曲率中心算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ直線から、角膜曲率中心を算出する。例えば、曲率中心算出部３５３は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。

角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、曲率中心算出部３５３が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、曲率中心算出部３５３は、まず目標位置を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線と、角膜反射中心と仮想光源位置とを結ぶ直線と、の交点を算出する。そして曲率中心算出部３５３は、瞳孔中心と算出した交点との距離を算出し、例えば記憶部１５０に記憶する。

目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面２０１の中央位置（三次元世界座標の原点）を目標位置とすることができる。この場合、例えば出力制御部３５６が、表示画面２０１上の目標位置（中央）に、被験者に注視させる画像（目標画像）等を表示する。これにより、被験者に目標位置を注視させることができる。

目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。

なお、目標位置は表示画面２０１の中央に限られるものではなく、任意の位置でよい。表示画面２０１の中央を目標位置とすれば、表示画面２０１の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。

距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、曲率中心算出部３５３は、仮想光源位置と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。曲率中心算出部３５３が、仮想光源位置と、表示部上の目標画像を示す所定の位置と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心を算出する算出部に相当する。

視線検出部３５４は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部３５４は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。

視点検出部３５５は、検出された視線方向を用いて被験者の視点を検出する。視点検出部３５５は、例えば、表示画面２０１で被験者が注視する点である視点（注視点）を検出する。視点検出部３５５は、例えば図２のような三次元世界座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の注視点として検出する。

出力制御部３５６は、表示部１０１およびスピーカ２０５などに対する各種情報の出力を制御する。例えば、出力制御部３５６は、表示部１０１上の目標位置に目標画像を出力させる。また、出力制御部３５６は、診断画像、および、評価部３５７による評価結果などの表示部１０１に対する出力を制御する。

診断画像は、視線（視点）検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像（幾何学模様映像など）と、それ以外の画像（人物映像など）と、を含む診断画像を用いてもよい。また、自閉スペクトラム症（ＡＳＤ）で用いられる診断画像としては、少なくとも人の顔を含む画像となっており、例えば、図１５に示す映像が用いられる。

図１５は、表示される映像（診断画像）の一例を示す図である。図１５に示すように、診断画像は、中央に人物の顔画像が配置される自然画の動画である。この診断画像は、人物の顔の動きの少ない画像が望ましい。なお、診断画像は、動画に限らず、静止画であってもよい。また、診断画像は、その背景を単純なものにすることがよく、背景を明るい色として背景と人物とのコントラスト（輝度差）を高くすることがより望ましい。

ここで、図１６を参照して、診断画像に対する注視パターンの一例について説明する。図１６は、診断画像に対する注視パターンの一例を示す図である。図１６に示すＶＰは、視点検出部３５５により検出した注視点である。図１６に示すように、自閉スペクトラム症のリスクが高い被験者は、人物の髪と背景との境界部分における輪郭の他、人物の肌と髪との境界部分における輪郭に沿って注視点ＶＰが移動する注視パターンがよく見られる。輪郭の検出は、コントラスト（輝度差）によって検出しているが、これに限らず、プログラム設定により映像の輪郭部分を長方形などの複合的なエリアで設定してもよいし、ユーザが任意に設定してもよい。

エリア設定部３５８は、診断画像における顔の所定の部分に複数のエリアＡ１〜Ａ１３を設定する。図１７は、表示される映像（診断画像）に設定されるエリアを示す図である。図１７に示すように、エリア設定部３５８は、診断画像における顔の目元部分に目元エリアＡ１を設定する。また、エリア設定部３５８は、診断画像における顔の口元部分に口元エリアＡ２を設定する。診断画像における顔の目元部分および口元部分のエリア設定は、目付近及び口付近の長方形の領域で設定する。さらに、エリア設定部３５８は、診断画像における顔の輪郭部分に複数の輪郭エリアＡ３〜Ａ１３を設定する。ここで、複数の輪郭エリアＡ３〜Ａ１３は、さらに詳細に区分けされており、背景と髪との輪郭部分に設定される輪郭エリアＡ３〜Ａ９と、髪とおでことの輪郭部分に設定される輪郭エリアＡ１０〜Ａ１１と、髪と頬との輪郭部分に設定される輪郭エリアＡ１２〜Ａ１３と、を含むエリアとなっている。

各エリアＡ１〜Ａ１３は、例えば長方形の領域となっており、注視点の座標に基づいて、注視点がエリアＡ１〜Ａ１３内にあるか、エリアＡ１〜Ａ１３外にあるかを判別可能なエリアとして設定されている。なお、エリア設定部３５８は、診断画像を表示する映像において人物が移動する場合、各エリアＡ１〜Ａ１３が、人物の移動に追従して移動するように設定している。なお、本実施形態では顔の動きの少ない動画を利用するのが好ましいが、顔が動く場合にはエリア設定部３５８によりコマ毎に各エリアＡ１〜Ａ１３を設定してもよく、動いた場面毎に各エリアアＡ１〜Ａ１３を設定してもよい。

ここで、各エリアＡ１〜Ａ１３には、後述する評価部３５７において用いられる補正係数Ｋ１〜Ｋ５が対応付けられており、この補正係数Ｋ１〜Ｋ５は、記憶部１５０に記憶されている。具体的に、輪郭エリアＡ３〜Ａ９には、補正係数Ｋ１が対応付けられ、輪郭エリアＡ１０〜Ａ１１には、補正係数Ｋ２が対応付けられ、輪郭エリアＡ１２〜Ａ１３には、補正係数Ｋ３が対応付けられている。そして、補正係数は、「Ｋ１＞Ｋ２＞Ｋ３」の関係となるように設定されている。また、目元エリアＡ１には、補正係数Ｋ４が対応付けられ、口元エリアＡ２には、補正係数Ｋ５が対応付けられている。

エリア内検出部３５９は、各エリアＡ１〜Ａ１３内への注視点の停留を検出する。エリア内検出部３５９は、注視点の座標と、各エリアＡ１〜Ａ１３の座標範囲とに基づいて、注視点がエリアＡ１〜Ａ１３内にあるか、エリアＡ１〜Ａ１３外にあるかを判別している。このため、エリア内検出部３５９は、注視点が所定のエリアＡ１〜Ａ１３内にある場合、注視点が所定のエリアＡ１〜Ａ１３に停留したとして検出する。一方で、エリア内検出部３５９は、注視点が所定のエリアＡ１〜Ａ１３外にある場合、注視点が所定のエリアＡ１〜Ａ１３に停留していないとして検出する。

評価部３５７は、診断画像と、視点検出部３５５により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部３５７は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像部分を注視したか否かを評価する。具体的に、評価部３５７は、各エリアＡ１〜Ａ１３に対する注視点の停留時間と、上記の補正係数Ｋ１〜Ｋ５とを用いた演算式（詳細は後述）に基づき、評価値を算出する。そして、評価部３５７は、ＡＳＤを判定するために予め設定された所定のしきい値と、算出した評価値とを比較することで、被験者のＡＳＤのリスクを評価する。

図７は、１つの光源を用いると仮定した場合の処理の概要を説明する図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。図７の例では、２つのＬＥＤ光源１０３ａ、１０３ｂの代わりに、１つのＬＥＤ光源２０３が用いられる。

瞳孔中心４０７および角膜反射中心４０８は、それぞれ、１つのＬＥＤ光源２０３を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径４０９は、角膜表面から角膜曲率中心４１０までの距離を表す。ＬＥＤ光源２０３は、ここでは１個のＬＥＤとしているが、数個の小さいＬＥＤを組み合わせて１ヵ所に配置されたものであっても構わない。

図８は、本実施形態の診断支援装置１００により実行される処理の概要を説明する図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。

角膜反射点６２１は左カメラ１０２ｂで撮影したときの画像上の角膜反射点を表す。角膜反射点６２２は右カメラ１０２ａで撮影したときの画像上の角膜反射点を表す。本実施形態では、右カメラ１０２ａと右カメラ用のＬＥＤ光源１０３ｂ、および、左カメラ１０２ｂと左カメラ用のＬＥＤ光源１０３ａは、例えば右カメラ１０２ａと左カメラ１０２ｂの中間位置を通る直線に対して左右対称の位置関係にある。このため、右カメラ１０２ａと左カメラ１０２ｂの中間位置（仮想光源位置）に仮想光源３０３があるとみなすことができる。角膜反射点６２４は、仮想光源３０３に対応する角膜反射点を表す。角膜反射点６２１の座標値と角膜反射点６２２の座標値を、左右カメラの座標値を三次元世界座標に変換する変換パラメータを用いて変換することにより、角膜反射点６２４の世界座標値が算出できる。仮想光源３０３と角膜反射点６２４を結ぶ直線５２３上に角膜の曲率中心５０５が存在する。従って、図７で表した光源が１ヵ所の視線検出方法と同等の方法で視点検出が可能である。

なお右カメラ１０２ａと左カメラ１０２ｂとの位置関係、および、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとの位置関係は、上述の位置関係に限られるものではない。例えば同一の直線に対して、それぞれの位置関係が左右対称となる関係であってもよいし、右カメラ１０２ａと左カメラ１０２ｂと、ＬＥＤ光源１０３ａとＬＥＤ光源１０３ｂとは同一直線上になくてもよい。

図９は、視点検出（視線検出）を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図３〜図６で説明した要素については同一の符号を付し説明を省略する。

目標位置６０５は、表示部１０１上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部１０１の画面の中央位置としている。直線６１３は、仮想光源３０３と角膜反射中心６１２とを結ぶ直線である。直線６１４は、被験者が見つめる目標位置６０５（注視点）と瞳孔中心６１１とを結ぶ直線である。角膜曲率中心６１５は、直線６１３と直線６１４との交点である。曲率中心算出部３５３は、瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図１０は、本実施形態の算出処理の一例を示すフローチャートである。

まず出力制御部３５６は、表示部１０１の画面上の１点に目標画像を再生し（ステップＳ１０１）、被験者にその１点を注視させる。次に、点灯制御部３５１は、ＬＥＤ駆動制御部３１６を用いてＬＥＤ光源１０３ａ、１０３ｂのうち一方を被験者の目に向けて点灯させる（ステップＳ１０２）。制御部３００は、左右カメラ（右カメラ１０２ａ、左カメラ１０２ｂ）のうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像する（ステップＳ１０３）。次に、点灯制御部３５１は、ＬＥＤ光源１０３ａ、１０３ｂのうち他方を被験者の目に向けて点灯させる（ステップＳ１０４）。制御部３００は、左右カメラのうち点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像する（ステップＳ１０５）。

なお、点灯したＬＥＤ光源からの距離が長いカメラ以外のカメラによる撮像を停止しなくてもよい。すなわち、少なくとも点灯したＬＥＤ光源からの距離が長い方のカメラで被験者の目を撮像し、撮像した画像が座標算出等に利用可能となっていればよい。

ＬＥＤ光源１０３ａまたはＬＥＤ光源１０３ｂの照射により、瞳孔部分（瞳孔領域）は暗い部分（暗瞳孔）として検出される。またＬＥＤ照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点（角膜反射中心）が検出される。すなわち、位置検出部３５２は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。位置検出部３５２は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、位置検出部３５２は、撮像された画像から角膜反射部分（角膜反射領域）を検出し、角膜反射中心の位置を示す座標を算出する。なお、位置検出部３５２は、左右カメラで取得した２つの画像それぞれに対して、各座標値を算出する（ステップＳ１０６）。

なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Ｔｓａｉのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。

位置検出部３５２は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う（ステップＳ１０７）。例えば位置検出部３５２は、ＬＥＤ光源１０３ａが点灯されたときに左カメラ１０２ｂにより撮像された画像から得られた座標を左カメラの座標とし、ＬＥＤ光源１０３ｂが点灯されたときに右カメラ１０２ａにより撮像された画像から得られた座標を右カメラの座標として、変換パラメータを用いて三次元世界座標への変換を行う。この結果得られる世界座標値は、仮想光源３０３から光が照射されたと仮定したときに左右カメラで撮像された画像から得られる世界座標値に対応する。曲率中心算出部３５３は、求めた角膜反射中心の世界座標と、仮想光源３０３の中心位置の世界座標とを結ぶ直線を求める（ステップＳ１０８）。次に、曲率中心算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する（ステップＳ１０９）。曲率中心算出部３５３は、ステップＳ１０８で算出した直線とステップＳ１０９で算出した直線との交点を求め、この交点を角膜曲率中心とする（ステップＳ１１０）。曲率中心算出部３５３は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部１５０などに記憶する（ステップＳ１１１）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

算出処理で表示部１０１上の１点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部１０１内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。

図１１は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点８０５は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点８０６は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。

瞳孔中心８１１および角膜反射中心８１２は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線８１３は、仮想光源３０３と角膜反射中心８１２とを結ぶ直線である。角膜曲率中心８１４は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離８１５は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心８１６は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心８１６は、角膜曲率中心が直線８１３上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離８１５であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線８１７は、視線８１８に補正される。また、表示部１０１の画面上の注視点は、注視点８０５から注視点８０６に補正される。

図１２は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図１２の視線検出処理を実行することができる。診断処理では、図１２の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部３５７による評価処理などが実行される。

ステップＳ２０１〜ステップＳ２０７は、図１０のステップＳ１０２〜ステップＳ１０８と同様であるため説明を省略する。

曲率中心算出部３５３は、ステップＳ２０７で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する（ステップＳ２０８）。

視線検出部３５４は、瞳孔中心と角膜曲率中心とを結ぶベクトル（視線ベクトル）を求める（ステップＳ２０９）。このベクトルが、被験者が見ている視線方向を示している。視点検出部３５５は、この視線方向と表示部１０１の画面との交点の三次元世界座標値を算出する（ステップＳ２１０）。この値が、被験者が注視する表示部１０１上の１点を世界座標で表した座標値である。視点検出部３５５は、求めた三次元世界座標値を、表示部１０１の二次元座標系で表される座標値（ｘ，ｙ）に変換する（ステップＳ２１１）。これにより、被験者が見つめる表示部１０１上の視点（注視点）を算出することができる。

（変形例）
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図９および図１０で説明した方法に限られるものではない。以下では、算出処理の他の例について図１３および図１４を用いて説明する。

図１３は、本変形例の算出処理を説明するための図である。図３〜図６および図９で説明した要素については同一の符号を付し説明を省略する。

線分１１０１は、目標位置６０５と仮想光源位置とを結ぶ線分である。線分１１０２は、線分１１０１と平行で、瞳孔中心６１１と直線６１３とを結ぶ線分である。本変形例では、以下のように、線分１１０１、線分１１０２を用いて瞳孔中心６１１と角膜曲率中心６１５との距離６１６を算出して記憶しておく。

図１４は、本変形例の算出処理の一例を示すフローチャートである。

ステップＳ３０１〜ステップＳ３０９は、図１０のステップＳ１０１〜ステップＳ１０９と同様であるため説明を省略する。

曲率中心算出部３５３は、表示部１０１の画面上の１点に表示される目標画像の中心と、仮想光源位置とを結ぶ線分（図１３では線分１１０１）を算出するとともに、算出した線分の長さ（Ｌ１１０１とする）を算出する（ステップＳ３１０）。

曲率中心算出部３５３は、瞳孔中心６１１を通り、ステップＳ３１０で算出した線分と平行な線分（図１３では線分１１０２）を算出するとともに、算出した線分の長さ（Ｌ１１０２とする）を算出する（ステップＳ３１１）。

曲率中心算出部３５３は、角膜曲率中心６１５を頂点とし、ステップＳ３１０で算出した線分を下辺とする三角形と、角膜曲率中心６１５を頂点とし、ステップＳ３１１で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心６１１と角膜曲率中心６１５との間の距離６１６を算出する（ステップＳ３１２）。例えば曲率中心算出部３５３は、線分１１０１の長さに対する線分１１０２の長さの比率と、目標位置６０５と角膜曲率中心６１５との間の距離に対する距離６１６の比率と、が等しくなるように、距離６１６を算出する。

距離６１６は、以下の（１）式により算出することができる。なおＬ６１４は、目標位置６０５から瞳孔中心６１１までの距離である。
距離６１６＝（Ｌ６１４×Ｌ１１０２）／（Ｌ１１０１−Ｌ１１０２）・・・（１）

曲率中心算出部３５３は、算出した距離６１６を記憶部１５０などに記憶する（ステップＳ３１３）。記憶された距離は、その後の視点（視線）検出時に、角膜曲率中心を算出するために使用される。

次に、このように構成された本実施形態にかかる診断支援装置１００による診断支援処理について図１８を用いて説明する。図１８は、本実施形態における診断支援処理の一例を示すフローチャートである。なお、これ以前に個別のキャリブレーションは完了しているものとする。キャリブレーションには、上述のようなカメラキャリブレーション、または、視線検出のためのキャリブレーション（視線検出用較正）が含まれる。

先ず、出力制御部３５６は、診断画像としての映像の再生を開始する（ステップＳ４０１）。次に、出力制御部３５６は、映像の再生時間を管理するタイマをリセットする（ステップＳ４０２）。この後、評価部３５７は、目元エリアＡ１の注視点の停留時間を測定するためのカウンタＣＮＴ１と、口元エリアＡ２の注視点の停留時間を測定するためのカウンタＣＮＴ２と、輪郭エリアＡ３〜Ａ９の注視点の停留時間を測定するためのカウンタＣＮＴ３と、輪郭エリアＡ１０〜Ａ１１の注視点の停留時間を測定するためのカウンタＣＮＴ４と、輪郭エリアＡ１２〜Ａ１３の注視点の停留時間を測定するためのカウンタＣＮＴ５とをリセットする（ステップＳ４０３）。この診断支援装置１００では、カメラの１フレームごとに１回の注視点測定を行う。このため、１フレームごとに、注視しているエリアを判定して計数することにより各エリアＡ１〜Ａ１３の停留時間を計測することが可能である。

次に、視点検出部３５５は、被験者の注視点を検出する（ステップＳ４０４）。注視点の検出は、例えば上述の図１２または図１４のような手順で実行することができる。視点検出部３５５は、注視点の検出が失敗したかを判断する（ステップＳ４０５）。これは、瞬きなどにより、注視点を検出できない場合があることから、ステップＳ４０５を実行している。視点検出部３５５による注視点の検出が失敗した場合（ステップＳ４０５：Ｙｅｓ）、ステップＳ４１７に進む。

注視点の検出が成功した場合（ステップＳ４０５：Ｎｏ）、エリア内検出部３５９は、エリア設定部３５８により設定される各エリアＡ１〜Ａ１３の座標範囲を検出し（ステップＳ４０６）、注視点座標と、検出した各エリアＡ１〜Ａ１３の座標範囲とを比較する。

先ず、エリア内検出部３５９は、取得した注視点領域が、目元エリアＡ１（領域Ａ１）に停留したか否かを判定する（ステップＳ４０７）。領域Ａ１に停留している場合（ステップＳ４０７：Ｙｅｓ）、評価部３５７は、カウンタＣＮＴ１をインクリメント（カウントアップ）し（ステップＳ４１２）、ステップＳ４１７に進む。

注視点領域が、領域Ａ１に停留していない場合（ステップＳ４０７：Ｎｏ）、エリア内検出部３５９は、注視点領域が口元エリアＡ２（領域Ａ２）に停留したか否かを判定する（ステップＳ４０８）。領域Ａ２に停留している場合（ステップＳ４０８：Ｙｅｓ）、評価部３５７は、カウンタＣＮＴ２をインクリメント（カウントアップ）し（ステップＳ４１３）、ステップＳ４１７に進む。

注視点領域が、領域Ａ２に停留していない場合（ステップＳ４０８：Ｎｏ）、エリア内検出部３５９は、注視点領域が輪郭エリアＡ３〜Ａ９（領域Ａ３〜Ａ９）に停留したか否かを判定する（ステップＳ４０９）。領域Ａ３〜Ａ９に停留している場合（ステップＳ４０９：Ｙｅｓ）、評価部３５７は、カウンタＣＮＴ３をインクリメント（カウントアップ）し（ステップＳ４１４）、ステップＳ４１７に進む。

注視点領域が、領域Ａ３〜Ａ９に停留していない場合（ステップＳ４０９：Ｎｏ）、エリア内検出部３５９は、注視点領域が輪郭エリアＡ１０〜Ａ１１（領域Ａ１０〜Ａ１１）に停留したか否かを判定する（ステップＳ４１０）。領域Ａ１０〜Ａ１１に停留している場合（ステップＳ４１０：Ｙｅｓ）、評価部３５７は、カウンタＣＮＴ４をインクリメント（カウントアップ）し（ステップＳ４１５）、ステップＳ４１７に進む。

注視点領域が、領域Ａ１０〜Ａ１１に停留していない場合（ステップＳ４１０：Ｎｏ）、エリア内検出部３５９は、注視点領域が輪郭エリアＡ１２〜Ａ１３（領域Ａ１２〜Ａ１３）に停留したか否かを判定する（ステップＳ４１１）。領域Ａ１２〜Ａ１３に停留している場合（ステップＳ４１１：Ｙｅｓ）、評価部３５７は、カウンタＣＮＴ５をインクリメント（カウントアップ）し（ステップＳ４１６）、ステップＳ４１７に進む。

注視点領域が、領域Ａ１２〜Ａ１３に停留していない場合（ステップＳ４１１：Ｎｏ）、評価部３５７は、注視点領域が、いずれの領域Ａ１〜Ａ１３にも停留していないとして、カウンタＣＮＴ１〜ＣＮＴ５をインクリメント（カウントアップ）せず、ステップＳ４１７に進む。

次に、出力制御部３５６は、映像の再生時間を管理するタイマの完了を確認する（ステップＳ４１７）。所定時間が経過していない場合には（ステップＳ４１７：Ｎｏ）、ステップＳ４０４に進み、測定を継続する。所定時間が経過して、タイマが完了した場合には（ステップＳ４１７：Ｙｅｓ）、出力制御部３５６は、映像の再生を停止させる（ステップＳ４１８）。

次に、評価部３５７は評価演算を行う（ステップＳ４１９）。評価部３５７は、例えば、下記する（２）式により、評価値を算出する。なお、（２）式の補正係数Ｋ１〜Ｋ５は、各エリアＡ１〜Ａ１３に関連付けた重み付けであり、ＣＮＴ１〜５は、計数値である。

評価値＝Ｋ１×ＣＮＴ３＋Ｋ２×ＣＮＴ４＋Ｋ３×ＣＮＴ５−Ｋ４×ＣＮＴ１＋Ｋ５×ＣＮＴ２ ・・・（２）

そして、評価部３５７は、算出した評価値と、ＡＳＤを判定するために予め設定された所定のしきい値とを比較して、被験者のＡＳＤのリスクを評価する。

この後、出力制御部３５６は、評価結果を、表示画面２０１などに表示する（ステップＳ４２０）。

以上のように、本実施形態によれば、診断画像の各輪郭エリアＡ３〜Ａ１３における注視点の停留時間に基づいて評価値を算出することができるため、自閉スペクトラム症のリスクの高い被験者を精度よく評価することができる。なお、本実施形態では、輪郭エリアＡ３〜Ａ１３とともに目元エリアＡ１および口元エリアＡ２に基づいた注視点の停留時間に基づいて評価値を算出しているが、目元エリアＡ１および口元エリアＡ２における注視点の停留時間に基づいて評価値を算出する処理は必ずしも含まなくてもよい。

また、本実施形態によれば、診断画像の目元エリアＡ１および口元エリアＡ２における注視点の停留時間に基づいて評価値を算出することができるため、定型発達の被験者を精度よく評価することができる。

また、本実施形態によれば、補正係数を用いて、各エリアＡ１〜Ａ１３における注視点の停留時間に関連して重み付けすることができるため、自閉スペクトラム症のリスクの高い被験者と、定型発達の被験者とを感度よく評価することができる。

１００ 診断支援装置
１０１ 表示部
１０２ａ 右カメラ
１０２ｂ 左カメラ
１０３ａ、１０３ｂ ＬＥＤ光源
１５０ 記憶部
２０１ 表示画面
２０５ スピーカ
３００ 制御部
３１３ 駆動・ＩＦ部
３１６ ＬＥＤ駆動制御部
３２２ スピーカ駆動部
３５１ 点灯制御部
３５２ 位置検出部
３５３ 曲率中心算出部
３５４ 視線検出部
３５５ 視点検出部
３５６ 出力制御部
３５７ 評価部
３５８ エリア設定部
３５９ エリア内検出部

Claims (4)

1. 表示部と、
   被験者を撮像する撮像部と、
   前記撮像部により撮像された撮像画像から、前記被験者の視線方向を検出する視線検出部と、
   前記視線方向に基づいて、前記表示部の表示領域における前記被験者の視点を検出する視点検出部と、
   少なくとも人の顔を含む診断画像を前記表示部に表示させる出力制御部と、
   前記診断画像における前記顔の輪郭部分に輪郭エリアを設定するエリア設定部と、
   前記輪郭エリア内への前記視点の停留を検出するエリア内検出部と、
   前記エリア内検出部により前記視点が前記輪郭エリアに停留したと検出したときの、前
   記輪郭エリア内における前記視点の停留時間に基づいて、前記被験者の評価値を算出する
   評価部と、を備えることを特徴とする診断支援装置。
2. 前記エリア設定部は、前記輪郭エリアを複数設定し、
   前記評価部は、複数の前記輪郭エリアに応じて予め設定される補正係数を用いて、前記輪郭エリア内における前記視点の停留時間に関連して重み付けして、前記被験者の評価値を算出することを特徴とする請求項１に記載の診断支援装置。
3. 前記エリア設定部は、前記診断画像における前記顔の目元部分に目元エリアを設定し、
   前記エリア内検出部は、前記目元エリア内への前記視点の停留を検出し、
   前記評価部は、前記エリア内検出部により前記視点が前記目元エリアに停留したと検出したときの、前記目元エリア内における前記視点の停留時間に基づいて、前記被験者の評価値を算出することを特徴とする請求項１または２に記載の診断支援装置。
4. 撮像部により撮像された撮像画像から、被験者の視線方向を検出する視線検出ステップと、
   前記視線方向に基づいて、表示部の表示領域における前記被験者の視点を検出する視点検出ステップと、
   少なくとも人の顔を含む診断画像を表示させる出力制御ステップと、
   前記診断画像における前記顔の輪郭部分に輪郭エリアを設定するエリア設定ステップと、
   前記輪郭エリア内への前記視点の停留を検出するエリア内検出ステップと、
   前記エリア内検出ステップにより前記視点が前記輪郭エリアに停留したと検出したときの、前記輪郭エリア内における前記視点の停留時間に基づいて、前記被験者の評価値を算出する評価ステップと、を含むことを特徴とする診断支援方法。