JP6019684B2 - 診断支援装置および診断支援方法 - Google Patents

Description

本発明は、診断支援装置および診断支援方法に関する。

最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障害の診断支援装置が求められている。

発達障害は、早期に診断して療育を行うことにより、社会生活の適応度を大きく改善することが可能である。発達障害早期発見のためには、例えば１歳半検診時に診断できることが理想的である。また、検診時の使用について配慮することが必要である。発達障害児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障害を診断支援する方法が提案されている（例えば特許文献１）。

上記のように発達障害診断は、１歳半くらいで実施することが望ましい。実際の検診では、母親が被験者である乳幼児を抱きかかえて行う。このとき、乳幼児の目がしっかり撮像されるようにすることが必要である。しかし、乳幼児が動いて撮像範囲から外れてうまく測定できないことがあった。

特許文献２では、眼球位置を示すマーカを表示することにより、操作者が眼球状態を容易に確認できるようにし、眼球位置が所定位置から離れた場合にも迅速に復帰できるようにする技術が提案されている。

特開２０１１−２０６５４２号公報 特開平０９−２１２０８２号公報 特開２００８−１２５６１９号公報 特開２００５−１９８７４３号公報

しかしながら、特許文献２の方法では、常時マーカが表示される。このため、仮に発達障害診断に適用したとしても、被験者である乳幼児の視線がマーカに行ってしまい、正しい測定ができない問題が生じうる。

本発明は、上記に鑑みてなされたものであって、被験者に意識させることなく被検者の位置を修正でき、診断を適切に行うことができる診断支援装置および診断支援方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、被験者の視点を検出することにより診断を支援する診断支援装置であって、画像を表示する表示部と、撮像領域内に存在する前記被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記撮像領域内の前記被験者の目の位置を検出する検出部と、前記検出部によって検出された目の位置が、前記撮像領域に含まれる第１特定領域の外部であるか否かを判定する判定部と、前記判定部によって検出された目の位置が前記第１特定領域の外部であると判定された場合に、検出された目の位置と前記第１特定領域との位置関係を示すマーカを、検出された目の位置から前記第１特定領域までの距離に応じて表示態様を徐々に変化させて前記表示部に表示させる表示制御部と、を備えることを特徴とする。

本発明にかかる診断支援装置および診断支援方法は、被験者に意識させることなく被検者の位置を修正でき、診断を適切に行うことができるという効果を奏する。

図１は、本実施形態に係る診断支援装置において用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。 図２は、本実施形態に係る診断支援装置の構成の概要を示す図である。 図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。 図４は、被験者の瞳孔の位置を検出する方法を模式的に示す説明図である。 図５は、表示部に表示されたマーカの一例を示す図である。 図６は、表示部に表示されたマーカの他の例を示す図である。 図７は、表示部に表示されたマーカの他の例を示す図である。 図８は、表示部に表示されたマーカの他の例を示す図である。 図９は、領域および領域に応じた表示態様の変更方法の一例を説明する図である。 図１０は、領域および領域に応じた表示態様の変更方法の他の例を説明する図である。 図１１は、領域および領域に応じた表示態様の変更方法の他の例を説明する図である。 図１２は、視点検出処理の一例を示すフローチャートである。 図１３は、視点検出処理の他の例を示すフローチャートである。 図１４は、領域および領域に応じた表示態様の変更方法の一例を説明する図である。 図１５は、奥行方向の移動を示すマーカを含むマーカの一例を示す図である。 図１６は、視点検出処理の他の例を示すフローチャートである。

以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。以下では、本発明を、被験者の視点を検出することにより発達障害の診断を支援する診断支援装置として適用した例について説明する。適用可能な装置はこれに限られるものではない。

本実施形態の診断支援装置では、被験者の目の位置が、撮像領域内に定められる特定領域の外部に外れたかを検出する。例えば、撮像領域に複数の境界線を設定し、この境界線の内側を特定領域とする。そして、被験者の目の位置が特定領域の外側に向かって境界線を越えたことを検出する。境界線を越えたことが検出された場合、越えた量に対応して表示態様を徐々に変化させたマーカを表示部（モニタ）に表示するにより、越えたことを報知する。例えば、乳幼児である被験者の目が特定領域から外れかかったら、徐々にマーカを浮き上がらせるように表示する。これにより、母親が気づいて乳幼児の位置を調整できる。この間、画像の変換は微小であり、乳幼児はほとんど気づかない。すなわち、乳幼児の視線がマーカに向かうことにより正しい測定ができなくなる問題を回避し、効率よく測定を実施できる。

本実施形態は、被験者の観察する対象（観察対象）となる画像（対象画像）を表示部（モニタ）に表示して被験者の発達障害を診断する例である。図１は、本実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、本実施形態では、表示画面１０１の下側に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。

右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light Emitting Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献３に記載された方法などを適用できる。

視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面１０１の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。検出された目（瞳孔）の位置も、３次元の座標値で表される。

図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ部２０８と、制御部３００と、表示部２１０と、を含む。図２において、表示画面１０１と、右カメラ２０２および左カメラ２０４との位置関係を分かりやすく示しているが、表示画面１０１は表示部２１０において表示される画面である。

スピーカ１０５は、キャリブレーション時や、診断時に、装置の状態や診断の状態などを報知するための音声などを出力する。

駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。

表示部２１０は、診断のための対象画像等、各種情報を表示する。

図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部２１０と駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。

駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。

右カメラ２０２からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４とＬＥＤ駆動制御部３１６とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２、左カメラ２０４）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラによる画像を取り込んでいる。

赤外ＬＥＤ光源２０３は、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５は、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。

波長１−ＬＥＤ３０３、３０５は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６は、波長２の赤外線を照射する。

波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。

スピーカ駆動部３２２は、スピーカ１０５を駆動する。

制御部３００は、診断支援装置１００全体を制御して、結果を表示部２1０およびスピーカ１０５などに出力する。制御部３００は、検出部３５１と、判定部３５２と、表示制御部３５３と、報知部３５４と、動作制御部３５５と、を備えている。

検出部３５１は、ステレオカメラ１０２により撮像された撮像画像から、撮像領域内の被験者の目（右目および左目）の位置（例えば瞳孔の位置）を検出する。また、検出部３５１は、被験者の瞳孔の位置などを用いて、被験者の視点を検出する。本実施形態では、検出部３５１は、例えば、被験者の母親の画像などを含む表示画面１０１に表示された対象画像のうち、被験者が注視する点である視点を検出する。検出部３５１による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献４と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。

この場合、まず検出部３５１は、ステレオカメラ１０２で撮影された画像から、被験者の視線方向を検出する。検出部３５１は、例えば、特許文献１および３に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。検出部３５１は、左右のカメラ（右カメラ２０２、左カメラ２０４）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置を算出する。また、検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。

検出部３５１は、例えば図１のような座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって視点を計測してもよい。

なお、被験者の視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視点を検出してもよい。

図４は、被験者の瞳孔の位置を検出する方法を模式的に示す説明図である。右カメラ２０２で検出した瞳孔の位置と角膜反射の位置関係とから、右カメラ２０２から見た被験者２０１の瞳孔の方向が求められる。また、左カメラ２０４で検出した瞳孔の位置と角膜反射の位置関係とから、左カメラ２０４から見た被験者２０１の瞳孔の方向が求められる。求められた２つの瞳孔の方向の交点から、図１の座標上の被験者２０１の瞳孔の位置が計算される。

検出部３５１による目の位置の検出方法はこれに限られるものではなく、従来から用いられているあらゆる方法を適用できる。例えば、パターンマッチング等により撮像画像から目の位置を検出するように構成してもよい。

検出された被験者の視点が、表示画面１０１に表示された対象者の目の位置と一致するかによって、被験者が対象者の目を注視しているか否かが判定できる。これにより、被験者が発達障害であるか否かを診断することが可能となる。

図３に戻る。判定部３５２は、検出された目の位置が、撮像領域に含まれる特定領域（第１特定領域）の外部であるか否かを判定する。第１特定領域は、例えば高精度に目の位置を検出できる領域として予め定められる。第１特定領域は、３次元の領域であり、例えば図１に示す座標系により表される。判定部３５２は、左右方向（例えば図１のＸ軸方向）、上下方向（例えば図１のＹ軸方向）、および、奥行方向（焦点方向。例えば図１のＺ軸方向）のいずれかに向かって、被験者の目の位置が第１特定領域の内部から外れたことを判定する。

また、判定部３５２は、検出された目の位置が、撮像領域に含まれる領域であって、第１特定領域を含み第１特定領域より大きい第２特定領域の外部であるか否かを判定する。
第２特定領域の外部は、ステレオカメラ１０２が画像を撮像可能な範囲（撮像範囲）から外れた領域に相当する。第１特定領域の外部であって、第２特定領域の内部の領域は、撮像範囲から外れかかった領域に相当する。

表示制御部３５３は、表示画面１０１に対する各種情報の表示を制御する。例えば、表示制御部３５３は、対象画像を表示画面１０１に表示する。また、表示制御部３５３は、被験者の目の位置が第１特定領域の外部であると判定された場合に、被験者の移動を促すためのマーカを表示画面１０１に表示する。このとき、表示制御部３５３は、目の位置から第１特定領域までの距離に応じてマーカの表示態様を変化させて表示する。

表示態様としては、例えば、マーカの画像の輝度、彩度、および、色相などを用いることができる。表示態様はこれに限られるものではない。表示態様として、画像の濃度値（画像レベル）、マーカの大きさ、長さ、および、形状を用いてもよい。また、マーカの表示位置を変化させてもよい。このように、変化させる表示態様は任意であるが、変化が被験者に気づかれにくい表示態様を用いることが望ましい。

図５は、表示画面１０１に表示されたマーカの一例を示す図である。表示されている顔の画像は、被験者が、目付近を見るか否かを判定するために必要な対象画像である。マーカ５０１は、抱きかかえた乳幼児などの被験者を移動させる方向（右）を示すマーカである。マーカ５０２は、被験者を移動させる方向（左）を示すマーカである。マーカ５０３は、被験者を移動させる方向（下）を示すマーカである。マーカ５０４は、被験者を移動させる方向（上）を示すマーカである。以下では、移動させる方向として右、左、上、および、下を示すマーカを、それぞれマーカＡ、マーカＢ、マーカＣ、および、マーカＤという場合がある。

これらのマーカは、乳幼児の目の位置が特定領域内に存在する場合には表示されず、特定領域から外れると徐々に強調表示される。乳幼児は、診断支援用コンテンツ（対象画像）を注視しているため、徐々に表示されるマーカには気づかない。一方、乳幼児を抱きかかえる大人（母親など）は、初期段階のマーカの微妙な表示でも判断できるため、乳幼児の位置を修正することができる。

なお、目の位置が特定領域内に存在する場合にも、気づかれない程度にマーカを表示するように構成してもよい。また、マーカの形状および表示位置は、図５に示すものに限られない。例えば検出された目の位置と第１特定領域との位置関係を示すものであれば、どのようなマーカを用いてもよい。被験者に気づかれないようにするため、マーカの表示位置は表示画面１０１の端部とすることが望ましい。マーカを表示部２１０と異なる表示部（図示せず）に表示してもよいが、対象画像を表示する表示部２１０に表示すれば構成を簡易化しコストを低減できる。

図６は、表示画面１０１に表示されたマーカの他の例を示す図である。図６では、マーカ６０１〜６０４を表示画面１０１の右上に集中して配置した例が示されている。図６の例では、マーカ６０１〜６０４が、マーカＡ〜Ｄに対応する。

図７は、表示画面１０１に表示されたマーカの他の例を示す図である。図５および６は、移動方向を４方向で示す例であった。これに対し、図７は、移動方向を８方向で示す例を表している。図７の例では、マーカ１２０１〜１２０４が、右、左、下、および、上の移動方向を示すマーカ（マーカＡ〜Ｄ）に相当する。マーカ１２０５〜１２０８が、右下、左下、左上、および、右上の移動方向を示すマーカ（マーカＥ〜Ｈ）に相当する。なお、さらに細分化した移動方向を示すマーカを用いてもよい。

図８は、表示画面１０１に表示されたマーカの他の例を示す図である。図８は、移動方向を示す矢印を切り替えてマーカ１３０１として表示する例である。

図３に戻る。報知部３５４は、スピーカ１０５を用いた音声出力、および、表示画面１０１を用いた情報表示などにより、各種情報を報知する。例えば、報知部３５４は、被験者の目の位置が第２特定領域の外部であると判定された場合に、目の位置が第２特定領域の外部であることを示す警告音声をスピーカ１０５から報知する。報知方法はこれに限られるものではない。例えば、マーカの表示態様をさらに変化させる（例えば点滅など）方法などを用いてもよい。

動作制御部３５５は、上記各部の動作を制御する。例えば、動作制御部３５５は、被験者の目の位置が第２特定領域の外部であると判定された場合に、判定されてから予め定められた規定時間が経過するまで、診断処理を停止する。動作制御部３５５は、例えば、ステレオカメラ１０２による撮像処理、検出部３５１による検出処理、および、判定部３５２による判定処理の少なくとも１つを停止する。

このように、本実施形態では、カメラの撮像領域を複数の領域（第１特定領域、第２特定領域等）に分けて、撮像される目の位置がいずれの領域に存在するかを検出して領域ごとに異なる対応を実施する。例えば第１特定領域を外れたときはマーカを表示し、さらに第２特定領域を外れたときは警告音声を出力する。また、中央周辺の領域（第１特定領域の内部）では、表示および音声出力などを行わず、最良の状態で測定を実施できる。なお、３以上の閾値を用いて、すなわち、３以上の特定領域を用いて、特定領域ごとに異なる処理を実行するように構成してもよい。

次に、判定部３５２による判定処理の詳細について説明する。図９は、領域および領域に応じた表示態様の変更方法の一例を説明する図である。図９は、右目および左目それぞれの視点を検出することを前提とした例である。

まず、検出部３５１が、ステレオカメラ１０２における、カメラ２０２またはカメラ２０４により撮像された撮像画像から被験者の右目と左目を検出して、その中心座標を決定する。上述のように、検出部３５１は特許文献４などの方法で、瞳孔の中心位置を求めればよい。

図９の例では、Ｘ軸方向に４つの境界を設け、境界それぞれのＸ軸方向の座標値（Ｘ座標値）で表される閾値を設けている。なお、図９では、図１の座標系とは異なる座標系を用いている。座標系は任意であり、図１の座標系を用いてもよいし、他の座標系を用いてもよい。図９の例では、Ｘ座標値が閾値Ａ０から閾値Ｂ０までの領域が、第１特定領域に相当する。また、Ｘ座標値が閾値Ａ１から閾値Ｂ１までの領域が、第２特定領域に相当する。

右目の位置のＸ座標値が閾値Ａ１より小さい、または、左目の位置のＸ座標値が閾値Ｂ１より大きくなったら、目が第２特定領域から外れた可能性があるので、動作制御部３５５は、測定を中止して所定時間経過後に測定を再開する。

右目の位置のＸ座標値が、閾値Ａ１より大きく、かつ、閾値Ａ０より小さい場合には、閾値Ａ０より閾値Ａ１に向かって閾値Ａ０から離れる距離に応じて、徐々にマーカＡの表示を強調して、母親に注意を促す。

左目の位置のＸ座標値が、閾値Ｂ０より大きく、かつ、閾値Ｂ１より小さい場合には、Ｂ閾値０より閾値Ｂ１に向かって閾値Ｂ０から離れる距離に応じて、徐々にマーカＢの表示を強調して、母親に注意を促す。

このように、図９の例では、閾値Ａ０、閾値Ａ１は、被験者の右目の座標位置が比較対象となり、閾値Ｂ０、閾値Ｂ１は、左目の座標位置が比較対象となる。

図１０は、領域および領域に応じた表示態様の変更方法の他の例を説明する図である。図１０は、上下方向に領域を分ける例である。

図１０の例では、Ｙ軸方向に４つの境界を設け、境界それぞれのＹ軸方向の座標値（Ｙ座標値）で表される閾値を設けている。図１０の例では、Ｙ座標値が閾値Ｃ０から閾値Ｄ０までの領域が、第１特定領域に相当する。また、Ｙ座標値が閾値Ｃ１から閾値Ｄ１までの領域が、第２特定領域に相当する。

両目の位置のＹ座標値のいずれかが、閾値Ｃ１より小さい、または、閾値Ｄ１より大きくなったら、目が第２特定領域から外れた可能性があるので、動作制御部３５５は、測定を中止して所定時間経過後に測定を再開する。

両目の位置のＹ座標値のいずれかが、閾値Ｃ１より大きく、かつ、閾値Ｃ０より小さい場合には、閾値Ｃ０より閾値Ｃ１に向かって閾値Ｃ０から離れる距離に応じて、徐々にマーカＣの表示を強調して、母親に注意を促す。

両目の位置のＹ座標値のいずれかが、閾値Ｄ０より大きく、かつ、閾値Ｄ１より小さい場合には、閾値Ｄ０より閾値Ｄ１に向かって閾値Ｄ０から離れる距離に応じて、徐々にマーカＤの表示を強調して、母親に注意を促す。

このように、図１０の例では、閾値Ｃ０、閾値Ｃ１は、被験者の左右の目のＹ座標値が小さい方が比較対象となり、閾値Ｄ０、閾値Ｄ１は、左右の目のＹ座標値が大きい方が比較対象となる。

図９および図１０では、マーカの表示態様としてマーカの画像レベル（濃度値）を徐々に変化させる例が示されている。また、図９および図１０では、閾値からの距離と比例するように画像レベルを変化させる例が示されている。変化させる度合いは、これに限られるものではなく、例えば曲線的に画像レベルを変化させてもよい。また、段階的に表示態様を変化させてもよい。

表示態様として、ＨＳＬ色空間のＨｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、およびＬｕｍｉｎａｎｃｅ（明度）を変化させる場合は、各要素を例えば以下のように変化させてもよい。

色相の場合は、元画像のマーカ位置のピクセルを、０〜＋３０°または、０〜−３０°の範囲で変化させる。彩度の場合は、元画像のマーカ位置のピクセルを、０〜＋２０％または、０〜−２０％で変化させる。明度の場合は、元画像のマーカ位置のピクセルを、０〜＋１０％または、０〜−１０％で変化させる。各要素のいずれかを変化させてもよいし、いずれか２つ以上を複合的に変化させてもよい。ＨＳＬ色空間以外の色空間の各要素の１以上を変化させてもよい。

図９および図１０を組み合わせ、上下左右に閾値を設けるように構成してもよい。例えば、Ｘ座標値が閾値Ａ０から閾値Ｂ０まで、かつ、Ｙ座標値が閾値Ｃ０から閾値Ｄ０までの領域を第１特定領域とし、Ｘ座標値が閾値Ａ１から閾値Ｂ１まで、かつ、Ｙ座標値が閾値Ｃ１から閾値Ｄ１までの領域を第２特定領域としてもよい。また、奥行方向に閾値を設ける例（詳細は後述）をさらに組み合わせてもよい。この場合、上下左右および奥行方向の６つの閾値に対応する境界に囲まれる領域が第１特定領域および第２特定領域に相当する。

図１１は、領域および領域に応じた表示態様の変更方法の他の例を説明する図である。図９は、右目および左目それぞれの視点を検出することを前提とした例であった。これに対し図１１は、右目および左目いずれかの視点を検出することを前提とした例である。この場合、内側の目が閾値に対する比較対象となる。このような構成では、視点検出の精度は下がる可能性があるが、横方向の目の位置の許容範囲が広くなる。

図１２は、視点検出処理の一例を示すフローチャートである。図１２は、図９および図１０を組み合わせ、上下左右の閾値を用いて、両目の視点を検出する例である。

まず、検出部３５１は、瞳孔の中心位置を検出する（ステップＳ１０１）。以下、右目の瞳孔の中心座標は（ＰＲｘ，ＰＲｙ）、左目の瞳孔の中心座標は（ＰＬｘ，ＰＬｙ）と表す。

次に、判定部３５２は、ＰＲｘ＜閾値Ａ０であるか否かを判断する（ステップＳ１０２）。ＰＲｘが、閾値Ａ０以上であった場合（ステップＳ１０２：Ｎｏ）、ステップＳ１０７に遷移する。ＰＲｘ＜閾値Ａ０である場合（ステップＳ１０２：Ｙｅｓ）、判定部３５２は、ＰＲｘ＜閾値Ａ１であるか否かを判断する（ステップＳ１０３）。ＰＲｘが、閾値Ａ１未満であった場合（ステップＳ１０３：Ｙｅｓ）、撮像範囲から外れた可能性が高いのでステップＳ１１７に遷移する。

次に、ＰＲｘが閾値Ａ１以上であった場合（ステップＳ１０３：Ｎｏ）、表示制御部３５３は、マーカＡの強調表示の変化率を決定する（ステップＳ１０４）。このステップに遷移するのは、閾値Ａ１≦ＰＲｘ＜閾値Ａ０の条件であり、目が撮像範囲から外れかかった状態である。

このとき、表示制御部３５３は、外れる可能性に対応して徐々にマーカを強調表示する。表示制御部３５３は、輝度、彩度および色相などを徐々に変化させればよい。表示制御部３５３は、例えば、閾値から外れる度合い（第１特定領域までの距離）に応じて、表示態様の変化率を決定する。図９の例では、閾値Ａ０の位置で無変化（変化率０％）、閾値Ａ１の位置で最高（変化率１００％）になる。最高の変化率で変化させても大人が気づく程度の変化として、徐々に変化させるので、コンテンツ（対象画像）に見入る乳幼児には気づかれ難い。

次に、表示制御部３５３は、マーカＡの表示される部分の画像（背景の画像）を確認する（ステップＳ１０５）。例えば、表示制御部３５３は、マーカ部分に対応した画素１つ１つの輝度、彩度および色相を確認する。表示制御部３５３は、確認したマーカＡの画像の各画素の輝度、彩度および色相のいずれか、または、輝度、彩度および色相のうち２以上の組み合わせを、同様の変化率で変化させる。これにより目立たずにマーカを表示することが可能となる。なお、表示制御部３５３が、透過の画像をマーカとして透過率を変化させながら重ねて表示するように構成してもよい。この場合、ステップＳ１０５の処理は不要となる。

次に、表示制御部３５３は、決定した変化率でマーカ部分の画像を変化させることにより、マーカＡを表示する（ステップＳ１０６）。

マーカＢ（ステップＳ１０７〜ステップＳ１１１）、マーカＣ（ステップＳ１１２〜ステップＳ１１６）、および、マーカＤ（ステップＳ１１９〜ステップＳ１２３）についても、同様に処理を行っていく。上下方向は、左右の目のうちＹ座標値が小さい方をＰｙ１とし、大きい方をＰｙ０としている。

それぞれのマーカの表示および非表示が完了した後、検出部３５１は、視点検出を行う（ステップＳ１２４）。

次に、動作制御部３５５は、測定全体が終了か否かを判断する（ステップＳ１２５）。例えば動作制御部３５５は、測定者により終了が指示されたこと、または、指示された測定時間が経過したこと、などにより処理の終了を判断する。

終了してない場合は（ステップＳ１２５：Ｎｏ）、ステップＳ１０１に戻り処理を繰り返す。終了した場合は（ステップＳ１２５：Ｙｅｓ）、視点検出処理を完了する。

目が撮像範囲から外れた可能性がある場合には（ステップＳ１０３：Ｙｅｓ、ステップＳ１０８：Ｙｅｓ、ステップＳ１１３：Ｙｅｓ、ステップＳ１２０：Ｙｅｓ）、報知部３５４は、警告音声をスピーカ１０５から発生させる（ステップＳ１１７）。その後、動作制御部３５５は、例えばタイマーで数秒ウェイトを掛けて（ステップＳ１１８）、処理を停止する。停止している間に母親に被験者である乳幼児の位置を修正してもらい、測定を再開するためである。

図１３は、視点検出処理の他の例を示すフローチャートである。図１３は、図１１および図１０を組み合わせ、上下左右の閾値を用いて、左右のいずれかの目の視点を検出する例である。図１３の例では、左右方向について、左右の目のうちＸ座標値が小さい方をＰｘ１とし、大きい方をＰｘ０としている。図１３は、ＰＲｘの代わりにＰｘ０を用い、ＰＬｘの代わりにＰｘ１を用いる点が図１２と異なっている。処理の流れは図１２と同様であるため説明を省略する。図１３のような処理により、片目でも検出できれば、測定できるようになる。

次に、奥行方向に閾値を設ける場合の判定処理の詳細について説明する。図１４は、この場合の、領域および領域に応じた表示態様の変更方法の一例を説明する図である。被験者の目を高精度に検出するためには、ステレオカメラ１０２の焦点が合った領域内に被験者が存在することが望ましい。図１４では、焦点が合った領域を第１特定領域とする。そして、被験者の目の位置が、この領域から奥行方向に外れた場合に、マーカを表示する。

図１４の例では、Ｚ軸方向に４つの境界を設け、境界それぞれのＺ軸方向の座標値（Ｚ座標値）で表される閾値を設けている。図１４の例では、Ｚ座標値が閾値Ｅ０から閾値Ｆ０までの領域が、第１特定領域に相当する。また、Ｚ座標値が閾値Ｅ１から閾値Ｆ１までの領域が、第２特定領域に相当する。

図１５は、奥行方向の移動を示すマーカを含むマーカの一例を示す図である。図１５は、図６のようなマーカ６０１〜６０４に加えて、奥行方向の移動を示すマーカ１５０１および１５０２をさらに含む例である。マーカ１５０１および１５０２は、例えば、それぞれ奥行方向の手前側および奥側の移動を示すマーカとすることができる。以下では、移動させる方向として奥行方向の手前および奥を示すマーカを、それぞれマーカＳおよびマーカＴという場合がある。

図１４に戻る。両目の位置のＺ座標値のいずれかが、閾値Ｅ１より小さい、または、閾値Ｆ１より大きくなったら、目が第２特定領域から外れた可能性があるので、動作制御部３５５は、測定を中止して所定時間経過後に測定を再開する。

両目の位置のＺ座標値のいずれかが、閾値Ｅ１より大きく、かつ、閾値Ｅ０より小さい場合には、閾値Ｅ０より閾値Ｅ１に向かって閾値Ｅ０から離れる距離に応じて、徐々にマーカＳの表示を強調して、母親に注意を促す。

両目の位置のＺ座標値のいずれかが、閾値Ｆ０より大きく、かつ、閾値Ｆ１より小さい場合には、閾値Ｆ０より閾値Ｆ１に向かって閾値Ｆ０から離れる距離に応じて、徐々にマーカＴの表示を強調して、母親に注意を促す。

このように、図１４の例では、閾値Ｅ０、閾値Ｅ１は、被験者の左右の目のＺ座標値が小さい方が比較対象となり、閾値Ｆ０、閾値Ｆ１は、左右の目のＺ座標値が大きい方が比較対象となる。なお、片目の視点の検出でよい場合は、被験者の左右の目のＺ座標値が大きい方を閾値Ｅ０、閾値Ｅ１と比較し、左右の目のＺ座標値が小さい方を閾値Ｆ０、閾値Ｆ１と比較するように構成してもよい。

次に、図１４に対応する視点検出処理について説明する。図１６は、視点検出処理の他の例を示すフローチャートである。

まず、検出部３５１は、瞳孔の中心位置を検出する（ステップＳ３０１）。以下、右目の瞳孔の中心座標のＺ座標値をＰＲｚと表し、左目の瞳孔の中心座標のＺ座標値をＰＬｚと表す。また、ＰＲｚおよびＰＬｚのうち値が小さい方をＰｚ０とし、大きい方をＰｚ１とする。

次に、判定部３５２は、Ｐｚ０＜閾値Ｅ０であるか否かを判断する（ステップＳ３０２）。Ｐｚ０が、閾値Ｅ０以上であった場合（ステップＳ３０２：Ｎｏ）、ステップＳ３０７に遷移する。Ｐｚ０＜閾値Ｅ０である場合（ステップＳ３０２：Ｙｅｓ）、判定部３５２は、Ｐｚ０＜閾値Ｅ１であるか否かを判断する（ステップＳ３０３）。Ｐｚ０が、閾値Ｅ１未満であった場合（ステップＳ３０３：Ｙｅｓ）、撮像範囲から外れた可能性が高いのでステップＳ３１３に遷移する。

次に、Ｐｚ０が閾値Ｅ１以上であった場合（ステップＳ３０３：Ｎｏ）、表示制御部３５３は、マーカＳの強調表示の変化率を決定する（ステップＳ３０４）。このステップに遷移するのは、閾値Ｅ１≦Ｐｚ０＜閾値Ｅ０の条件であり、目が撮像範囲から外れかかった状態である。

次に、表示制御部３５３は、マーカＳの表示される部分の画像（背景の画像）を確認する（ステップＳ３０５）。次に、表示制御部３５３は、決定した変化率でマーカ部分の画像を変化させることにより、マーカＳを表示する（ステップＳ３０６）。

マーカＴ（ステップＳ３０７〜ステップＳ３１１）についても、同様に処理を行っていく。

それぞれのマーカの表示および非表示が完了した後、検出部３５１は、視点検出を行う（ステップＳ３１２）。

次に、動作制御部３５５は、測定全体が終了か否かを判断する（ステップＳ３１５）。

終了してない場合は（ステップＳ３１５：Ｎｏ）、ステップＳ３０１に戻り処理を繰り返す。終了した場合は（ステップＳ３１５：Ｙｅｓ）、視点検出処理を完了する。

目が撮像範囲から外れた可能性がある場合には（ステップＳ３０３：Ｙｅｓ、ステップＳ３０８：Ｙｅｓ）、報知部３５４は、警告音声をスピーカ１０５から発生させる（ステップＳ３１３）。その後、動作制御部３５５は、例えばタイマーで数秒ウェイトを掛けて（ステップＳ３１４）、処理を停止する。

図１６は、Ｚ座標方向のみについての視点検出処理を示しているが、Ｚ座標方向のみならず、図１２または図１３に示したＸ座標方向およびＹ座標方向の視点検出処理と組み合わせて処理が実行されることにより、効率よく測定を行うことができる。

以上のように、本実施形態によれば、例えば以下のような効果が得られる。
（１）通常は、マーカが表示されず、測定に影響しない。
（２）目が撮像範囲から外れかかったら、徐々にマーカを浮き上がらせる。これにより、母親が気づいて乳幼児の位置を調整できる。この間、画像の変換は微小であり、乳幼児はほとんど気づかない。
（３）目が撮像範囲から外れた場合は、外れたことを報知した後、乳幼児の報知に対する集中が解除された時点で測定を開始できる。これにより、効率よく測定を実施できる。

１００ 診断支援装置
１０１ 表示画面
１０２ ステレオカメラ
１０５ スピーカ
２０２ 右カメラ
２０３、２０５ 赤外ＬＥＤ光源
２０４ 左カメラ
２０８ 駆動・ＩＦ部
２１０ 表示部
３００ 制御部
３５１ 検出部
３５２ 判定部
３５３ 表示制御部
３５４ 報知部
３５５ 動作制御部

Claims (9)

1. 被験者の視点を検出することにより診断を支援する診断支援装置であって、
   画像を表示する表示部と、
   撮像領域内に存在する前記被験者を撮像する撮像部と、
   前記撮像部により撮像された撮像画像から、前記撮像領域内の前記被験者の目の位置を検出する検出部と、
   前記検出部によって検出された目の位置が、前記撮像領域に含まれる第１特定領域の外部であるか否かを判定する判定部と、
   前記判定部によって検出された目の位置が前記第１特定領域の外部であると判定された場合に、検出された目の位置と前記第１特定領域との位置関係を示すマーカを、検出された目の位置から前記第１特定領域までの距離に応じて表示態様を徐々に変化させて前記表示部に表示させる表示制御部と、
   を備えることを特徴とする診断支援装置。
2. 前記判定部は、さらに、前記検出部によって検出された目の位置が、前記第１特定領域を含み前記第１特定領域より大きい第２特定領域の外部であるか否かを判定し、
   前記判定部によって、検出された目の位置が前記第２特定領域の外部であると判定された場合に、検出された目の位置が前記第２特定領域の外部であることを報知する制御を行う報知部をさらに備えること、
   を特徴とする請求項１に記載の診断支援装置。
3. 前記判定部によって、検出された目の位置が前記第２特定領域の外部であると判定された場合、判定されてから予め定められた規定時間が経過するまで、前記撮像部、前記検出部、および、前記判定部の少なくとも１つの動作を停止させる動作制御部をさらに備えること、
   を特徴とする請求項２に記載の診断支援装置。
4. 前記検出部は、前記撮像領域内の右目の位置および左目の位置を検出し、
   前記判定部は、前記右目の位置および前記左目の位置のいずれかが、前記第１特定領域の外部であるか否かを判定し、
   前記表示制御部は、前記右目の位置および前記左目の位置のいずれかが前記第１特定領域の外部である場合に、前記距離に応じて表示態様を徐々に変化させて前記マーカを前記表示部に表示させること、
   を特徴とする請求項１に記載の診断支援装置。
5. 前記検出部は、前記撮像領域内の右目の位置および左目の位置を検出し、
   前記判定部は、前記右目の位置および前記左目の位置の両方が、前記第１特定領域の外部であるか否かを判定し、
   前記表示制御部は、前記右目の位置および前記左目の位置の両方が前記第１特定領域の外部である場合に、前記距離に応じて表示態様を徐々に変化させて前記マーカを前記表示部に表示させること、
   を特徴とする請求項１に記載の診断支援装置。
6. 前記表示制御部は、前記表示部の端部に前記マーカを表示させること、
   を特徴とする請求項１に記載の診断支援装置。
7. 前記表示制御部は、前記表示態様として、色相、彩度、および、明度の少なくとも１つを徐々に変化させて前記表示部に表示させること、
   を特徴とする請求項１に記載の診断支援装置。
8. 前記表示制御部は、検出された目の位置から前記第１特定領域に向かう方向を示す前記マーカを前記表示部に表示させること、
   を特徴とする請求項１に記載の診断支援装置。
9. 被験者の視点を検出することにより診断を支援する診断支援方法であって、
   撮像領域内に存在する前記被験者を撮像する撮像部により撮像された撮像画像から、前記撮像領域内の前記被験者の目の位置を検出する検出ステップと、
   前記検出ステップにおいて検出された目の位置が、前記撮像領域に含まれる第１特定領域の外部であるか否かを判定する判定ステップと、
   前記判定ステップにおいて、検出された目の位置が前記第１特定領域の外部であると判定された場合に、検出された目の位置と前記第１特定領域との位置関係を示すマーカを、検出された目の位置から前記第１特定領域までの距離に応じて表示態様を徐々に変化させて表示部に表示させる表示制御ステップと、
   を含むことを特徴とする診断支援方法。

Images