JP4584408B2

JP4584408B2 - 眼球画像解析システム

Info

Publication number: JP4584408B2
Application number: JP2000145469A
Authority: JP
Inventors: 田重昭園; 飼一彦鵜
Original assignee: 株式会社ニューオプト
Priority date: 2000-05-17
Filing date: 2000-05-17
Publication date: 2010-11-24
Anticipated expiration: 2020-05-17
Also published as: JP2001321342A

Description

【０００１】
【発明の属する技術分野】
本発明は、左眼と右眼の眼球画像を解析して、両眼の眼球運動や瞳孔の大きさを計測する眼球画像解析システムに関する。
【０００２】
【従来の技術】
眼科で主に異常眼球運動の診断あるいは研究のために用いられ、また、耳鼻科で主にめまいの診断のために用いられている眼球運動の計測方法には、被験者の額付近に数個の小型電極を貼って眼球静止電位の変化を測定する電極法、あるいは磁気コイルを埋め込んだコンタクトレンズを被験者の眼球に装着させてその眼球の水平運動、垂直運動、回旋運動を記録するサーチコイル法や、CCDカメラ等の眼球撮影装置が内蔵されたゴーグルを被験者の顔面に装着させて、その眼球撮影装置で撮影した眼球画像を画像処理装置で解析する画像解析法などがある。
【０００３】
電極法は小型電極を貼ったり取ったりする手間や、細いコードが絡まる面倒があり、さらに得られたデータから直接眼球運動の様子を読み取ることができないなど使い勝手が悪く、サーチコイル法は被験者の負担が大きいために、最近は眼球撮影装置を用いた画像解析法が多く採用されるようになってきた。
【０００４】
【発明が解決しようとする課題】
画像解析法の原理は、眼球撮影装置で直接撮影した眼球画像の瞳孔中心座標を追跡することによって眼球運動を計測するものであるが、撮影した眼球画像が、ぶれたり不鮮明な画像であったり、瞳孔の一部に眼瞼がかかった画像であったりすると、瞳孔中心の解析が不正確となって、精度の良い計測ができなかった。
【０００５】
また、異常眼球運動の診断あるいは研究のためには、両眼の眼球運動、特に両眼の水平運動を同時測定することが重要となるが、従来の画像解析法は、その同時測定が可能なものではなかった。
【０００６】
そこで本発明は、両眼の眼球運動や瞳孔の大きさをリアルタイムで同時計測できる眼球画像解析システムを提供することを技術的課題としている。
【０００７】
【課題を解決するための手段】
上記の課題を解決するために、本発明による眼球画像解析システムは、ＣＣＤカメラ等の眼球撮影装置あるいはビデオデッキやＣＤ−ＲＷドライブ等の画像再生装置又は画像記録再生装置から左眼と右眼の眼球画像が１フィールド毎あるいは１フレーム毎に交互に画像処理装置に取り込まれてコンピュータ解析され、両眼の眼球運動あるいは両眼の瞳孔の大きさがリアルタイムで計測され、その計測結果を示すグラフがモニタやレコーダ等の表示装置に両眼同時に表示されることを特徴としている。
【０００８】
本発明の眼球画像解析システムによれば、両眼の眼球運動や瞳孔の大きさがリアルタイムで計測され、その計測結果を示すグラフが表示装置に両眼同時に表示されて、両眼の眼球運動の左右差や瞳孔の大きさの左右差を明確に視認することができるので、脳機能の診断および研究にも最適である。
【０００９】
【発明の実施の形態】
以下、本発明の実施形態を図面によって具体的に説明する。
図１は本発明に係る眼球画像解析システムの概略構成を示すブロック図、図２は眼球画像の取り込み方式を示す説明図、図３は瞳孔中心算定アルゴリズムの概略説明図、図４は取り込んだ画像及び解析されたデータを表示する表示画面の一例を示す説明図である。
【００１０】
本例の眼球画像解析システム１は、左眼と右眼の眼球画像を撮像する眼球撮影装置２と、左眼と右眼の眼球画像を記録再生する画像記録再生装置３と、前記眼球撮影装置２又は画像記録再生装置３から出力された眼球画像を取り込んでコンピュータ解析し、両眼の眼球運動あるいは両眼の瞳孔の大きさをリアルタイムで計測する画像処理装置４と、その計測結果を示すグラフを表示する表示装置５を備えている。
【００１１】
眼球撮像装置２は、顔面に装着される遮光性のゴーグル６に左眼及び右眼の眼球画像を個別に撮像する２台のＣＣＤカメラ７Ｌ、７Ｒが装着されると共に、各ＣＣＤカメラ７Ｌ、７Ｒの周囲には眼球に赤外光を照射するＬＥＤ８…が所要数（例えば６個ずつ）取り付けられている。
【００１２】
このゴーグル６は、ベルトなどで被験者の頭部に装着する場合であっても、ゴーグル６と一体に形成したグリップ（図示せず）を検査医や検査技師が手で持って被験者に装着する場合であっても良い。
さらに、この場合のグリップ形状は任意であり、例えば、ＣＣＤカメラの光軸と平行であっても、光軸に対して直角または任意の角度に傾斜させた部分を有するものであっても良い。
【００１３】
ＬＥＤ８…の発光部とＣＣＤカメラ７Ｌ、７Ｒのレンズには赤外光の写り込みを防止するために、直接反射光を遮る偏光フィルタ９Ａ、９Ｂが直交ニコル状態に装着され、さらに、ＣＣＤカメラ７Ｌ、７Ｒのレンズには可視光を透過しない可視光カットフィルタ１０が装着されている。
【００１４】
また、ＣＣＤカメラ７Ｌ、７Ｒ及びＬＥＤ８は、コントロールユニット１１により制御され、ＣＣＤカメラ７Ｌ、７ＲからはＮＴＳＣ(白／黒ＥＩＡ)規格に準拠して１秒間に３０フレーム(６０フィールド)の画像信号が出力され、ＬＥＤ８はＣＣＤカメラ７Ｌ、７Ｒのシャッター速度に同期して１／３０秒ごとに点滅されるパルス照明となっている。
例えば、ＣＣＤカメラ７Ｌ、７Ｒのシャッター速度が、１／１２０秒である場合に、ＬＥＤ８…はシャッターに同期して１／１２０秒点灯し、３／１２０秒消灯される。
【００１５】
なお、ＬＥＤ８…から照射される照明光は、中心波長を約６６０ｎｍあるいは７８０ｎｍとし、バンド幅を６３０〜８００ｎｍ程度とする赤外線や、中心波長を約８８０ｎｍとし、バンド幅は８００〜９２０ｎｍとする赤外線や、さらに、中心波長を約９２０ｎｍとする赤外線を用いる場合もある
中心波長が８８０ｎｍ以上になると、肉眼では見えないので、遮光状態での検査に向く。
【００１６】
画像処理装置４は、コントロールユニット１１を介して２台のＣＣＤカメラ７Ｌ、７Ｒを接続する画像信号合成器１２と、画像信号合成器１２で合成された信号に基づいて瞳孔中心の座標を算定する瞳孔中心算定器１３と、瞳孔の大きさを算定する瞳孔面積算定器１４と、前記瞳孔中心算定器１３で算定された瞳孔中心座標に基づいて眼球運動を解析する眼球運動アナライザ１５が設けられている。
【００１７】
画像信号合成器１２は、２台のＣＣＤカメラ７Ｌ、７Ｒから出力された２種類の画像信号Ｇ_Ｌ、Ｇ_Ｒを１フレーム毎に交互に取り込む。
例えば、図２に示すように、左眼の画像信号Ｇ_Ｌから奇数番フレームｆ_１、ｆ_３、ｆ_５…を抜き出し、右眼の画像信号Ｇ_Ｒから偶数番フレームｆ_２、ｆ_４、ｆ_６…を抜き出し、これらを合成して、奇数番フレームｆ_１、ｆ_３、ｆ_５…に左眼の画像信号Ｇ_Ｌが記録され、偶数番フレームｆ_２、ｆ_４、ｆ_６…に右眼の画像信号が記録されるというように左右の画像信号が時系列的に交互に並んだ一の合成画像信号Ｇ_ＬＲに変換される。
【００１８】
なお、この画像信号合成器１２で合成された合成画像信号Ｇ_ＬＲが、画像処理装置４内の瞳孔中心算定器１３に対して出力され、画像処理装置４にビデオデッキやＣＤ−Ｗ／ＲＷドライブ等の画像記録再生装置３が接続されていればこれにも出力される。
【００１９】
瞳孔中心算定器１３は、画像信号合成器１２や、画像処理装置４に接続された画像再生装置や画像記録再生装置３から出力された合成画像信号Ｇ_ＬＲが取り込まれると、１フレーム毎に瞳孔中心を算定する。
瞳孔中心は、瞳孔の全部が写っているときは、例えば、瞳孔に外接する略正方形枠の対角線の交点位置や、その直交２辺の垂直２等分線の交点位置により容易に求められる。
【００２０】
また、この瞳孔中心算定器１３は、瞳孔の一部が眼瞼などで隠れてしまっている場合に、瞳孔中心を精度よく求めるために、図３（ａ）に示すような瞳孔中心算定アルゴリズムを備えている。
このアルゴリズムは、まず、ステップSTP１で１フレームの眼球画像から色や明度の違いなどにより円弧状の瞳孔輪郭線Ｅを識別し、その曲線データを所定のメモリに記憶する。
【００２１】
次いで、図３（ｂ）に示すように、ステップSTP２で眼球画像に所定間隔で描かれる多数の仮想水平線ｈ…を想定し、瞳孔輪郭線Ｅと二つの点で交わる仮想水平線ｈ…について、これら左右の交点Ａ、Ｂを結ぶ線分の中点ＣのＸ座標を平均処理することにより瞳孔中心のＸ座標（ｘ_０）を決定する。
【００２２】
そして、ステップSTP３では、図３（ｃ）に示すように、ステップSTP２で決定されたＸ座標（ｘ_０）上に中心を有し、且つ、同一Ｘ座標（ｘ_０）における瞳孔輪郭線Ｅ上の点を通る多数の仮想円ｒ…と、眼球画像に所定間隔で描かれる多数の仮想垂直線ｖ…を想定し、各仮想垂直線ｖ…上における瞳孔輪郭線Ｅと仮想円ｒ…との距離の２乗の総和が最も小さくなる仮想円ｒ_０の中心のＹ座標（ｙ_０）を瞳孔中心のＹ座標とする。
【００２３】
なお、ステップSTP１の処理が瞳孔輪郭線識別手段の具体例、ステップSTP２の処理がＸ座標算定手段の具体例、ステップSTP３の処理がＹ軸座標算定手段の具体例である。
また、この瞳孔中心算定アルゴリズムは、１フレーム毎に処理されるので、本発明のように両眼の眼球画像を解析する場合だけでなく、片眼ごとに眼球画像を解析する場合でもそのまま使用できる。
【００２４】
瞳孔面積算定器１４では、１フレーム毎に瞳孔面積が算定され、瞳孔の全部が写っているときはその色や明度の違いにより識別された略円形の瞳孔輪郭線で囲まれた部分の面積を算定し、瞳孔の一部が眼瞼などで隠れてしまっている場合は瞳孔中心を求めた前記仮想円ｒ_０の面積を瞳孔面積とする。
【００２５】
したがって、瞳孔中心算定器１３及び瞳孔面積算定器１４では、眼球画像の奇数番フレームｆ_１、ｆ_３、ｆ_５…の画像信号Ｇ_Ｌから算定された中心座標データは左眼データとして、また、偶数番フレームｆ_２、ｆ_４、ｆ_６…の画像信号Ｇ_Ｒから算定された中心座標データは右眼データとして、夫々のメモリに記憶される。
【００２６】
すなわち、左眼のデータ処理と右眼のデータ処理が交互に行なわれるので、片眼のデータ処理を行なう場合と同じ処理速度で、両眼のデータ処理を行なうことができる。
【００２７】
なお、瞳孔の大きさはその面積に変えて直径や半径で表す場合であってもよく、この場合は瞳孔面積算定器１４に替えて、孔径算定器（図示せず）を用いれば良い。
そして、孔径算定器（図示せず）は、瞳孔の全部が写っているときは瞳孔に外接する略正方形の直交２辺の長さの平均値により、また、瞳孔の一部が隠れている場合は前記仮想円ｒ_０の直径により孔径を算出すれば良い。
【００２８】
次いで、瞳孔中心算定器１３で算定された瞳孔中心座標に基づいて眼球運動アナライザ１５で眼球運動が解析される。
このアナライザ１５は、瞳孔中心座標に基づいて、その水平方向成分（Ｘ座標）と、垂直方向成分（Ｙ座標）と、回旋運動（極座標）について、左眼及び右眼の夫々の位置、速度、加速度を算出し、さらに、夫々について左眼と右眼の差分を算出する。
また、瞳孔面積算定器１４で算定された面積データがアナライザ１５に入力され、左眼及び右眼の瞳孔面積の変化の速度及び加速度が算出され、さらに、夫々について左眼と右眼の差分が算出される。
【００２９】
これより、アナライザ１５から、水平運動の位置（Ｘ）、速度（ＶＸ）、加速度（ＡＸ）、垂直運動の位置（Ｙ）、速度（ＶＹ）、加速度（ＡＹ）、回旋運動の位置（ａ、θ）、速度（Ｖθ）、加速度（Ａθ）、瞳孔の面積（Ｓ）、面積の変化速度（ＶＳ）、変化加速度（ＡＳ）の１３種類について、夫々、右眼と左眼と、その左右差の３種類ずつ合計３９種類の解析データがリアルタイムで出力される。
【００３０】
また、瞳孔中心算定器１３に入力された合成画像信号Ｇ_ＬＲは画像信号分離器１６に入力されて、その奇数番フレームｆ_１、ｆ_３、ｆ_５…からなる左眼の画像信号Ｇ_Ｌと、偶数番フレームｆ_２、ｆ_４、ｆ_６…からなる右眼の画像信号Ｇ_Ｒに分離されると共に、時刻０における両眼の瞳孔中心を重ねて表す画像信号Ｇ_Ｗが形成され、各画像信号Ｇ_Ｌ、Ｇ_Ｒ、Ｇ_Ｗが表示装置５に出力される。
【００３１】
図４は、これらの解析データ及び眼球画像を表示するＣＲＴディスプレイなどの表示装置５の表示画面の一例である。
画面には、左右の眼球画像２０Ｌ、２０Ｒと、これらを重ねた眼球画像２０Ｗが表示されると共に、水平運動の位置（Ｘ）、速度（ＶＸ）、加速度（ＡＸ）を示すグラフ２１、垂直運動の位置（Ｙ）、速度（ＶＹ）、加速度（ＡＹ）を示すグラフ２２、回旋運動の位置（ａ、θ）、速度（Ｖθ）、加速度（Ａθ）を示すグラフ２３、瞳孔の面積（Ｓ）、面積の変化速度（ＶＳ）、変化加速度（ＡＳ）を示すグラフ２４が描かれる。
そして、夫々のグラフ２１〜２４では、左眼データと、右眼データと、左右差データが時間軸を共有した同一座標のグラフ内に表示される。
【００３２】
なお、表示装置５に表示される眼球画像２０Ｌ、２０Ｒ、２０Ｗは、カラー画像であっても、モノクロ画像、二値化画像あるいはその反転画像であっても良い。
また、カラー画像とモノクロ画像と二値化画像とに切替可能にしてあってもよい。
さらに、表示装置５に、瞳孔の中心を示すカーソルや、あるいは、瞳孔に外接するように周りを囲って描かれる略正方形枠のウィンドウを表示するようにしてもよい。
【００３３】
各グラフ２１〜２４は、両眼の眼球運動あるいは両眼の瞳孔の大きさがリアルタイムで計測するときに、例えば、各グラフの時間軸のフルスケールが１０秒に固定されている。
また、一度解析したデータを再表示させる場合は、その時間軸のフルスケールが１０秒、２０秒、３０秒、６０秒に切り替え表示できる。
【００３４】
そして、夫々のグラフ２１〜２４の位置、速度、加速度等を表す個々のグラフは、左眼データと、右眼データと、左右差データが時間軸を共有した同一グラフ内に、青、緑、赤などの互いに異なる色で表示される。
また、グラフ２１〜２４には、眼球運動の変化の度合い及び瞳孔の大きさの変化の度合いを容易に読み取ることができるように、その縦軸及び横軸の所定の数値毎に補助線となる罫線が等間隔で描かれる。
【００３５】
本発明によれば、ゴーグル６を装着するだけで、ＣＣＤカメラ７Ｌ、７Ｒにより左右の眼球が同時に撮像され、その画像信号Ｇ_Ｌ，Ｇ_Ｒが画像処理装置４に取り込まれる。
ここでは、各画像信号Ｇ_Ｌ，Ｇ_Ｒが１フィールド毎あるいは1フレーム毎、交互に入力されて、瞳孔中心算定器１３、瞳孔面積算定器１４、眼球運動アナライザ１５により、左眼および右眼の画像が交互に解析される。
この結果、左眼および右眼の眼球運動がリアルタイムで測定され、測定結果を示すグラフ２１〜２４がリアルタイムで表示装置５に表示される。
【００３６】
なお、眼球運動及び瞳孔の大きさを表す各グラフ２１〜２４は、表示装置５となるＣＲＴディスプレイに映し出す場合に限らず、測定結果はＤＡ変換してペンレコーダ等により記録してもよい。
また、リアルタイムで測定した両眼の眼球運動あるいは瞳孔の大きさのデータは、コンピュータに保存することができ、保存されたデータにより両眼の眼球運動あるいは瞳孔の大きさのグラフを表示装置５上に再現できる。
【００３７】
得られたデータは、眼科では異常眼球運動の検査あるいは研究用として使用されるが、特に水平眼球運動の左右差は、調節において輻輳が有るか否かの鑑別に有用である。
また、本発明では、その速度あるいは加速度の左右差の検討も可能になり、従来以上に詳細に調節時の輻輳の検討が可能になった。
一方、垂直眼球運動の左右差は通常生じることはない。したがって、垂直眼球運動の左右差、速度の左右差あるいは加速度の左右差が生じたら、眼科疾患が存在すると考えられる。
さらに、瞳孔の大きさは、アルツハイマー型痴呆症治療薬アセチルコリンエステラーゼ阻害剤を投与したときの効果を確認するのに有用である。すなわち、この薬剤を投与した場合に、その薬剤の影響により投与前後で瞳孔の大きさに変化が見られるので、薬剤の有効性を容易に確認することができる。
【００３８】
なお、画像信号合成器１２により、左眼及び右眼の２種類の画像信号Ｇ_Ｌ、Ｇ_Ｒを１フレーム毎に取り込む場合について説明したが、１フレームが奇フィールドと偶フィールドから成る場合に１フィールド毎に交互取り込むようにしてもよい。
【００３９】
また、本例では、表示装置５に眼球画像２０Ｌ、２０Ｒ、２０Ｗと各グラフ２１〜２４を表示するようにした場合について説明したが、これに限らず必要なデータのみを表示させるようにしても良い。
【００４０】
【発明の効果】
以上述べたように本発明によれば、両眼の眼球画像を画像処理して眼球運動を解析するようにしているのでその測定精度は極めてよく、両眼の眼球運動や瞳孔の大きさがリアルタイムで計測されて、その計測結果を示すグラフが表示装置に両眼同時に表示され、両眼の眼球運動の左右差や瞳孔の大きさの左右差を明確に視認することができるので、脳機能の診断等を行なう場合に、その症状を正確に把握することができるという大変優れた効果を奏する。
【００４１】
特に、左眼と右眼の眼球画像が、その画像信号の１フィールド毎あるいは１フレーム毎に交互に画像処理装置に取り込まれ、左眼および右眼の画像が交互に解析されるので、片眼の眼球画像を解析する場合と同じ処理速度で、両眼のデータ処理を行なうことができ、したがって、左眼および右眼の眼球運動を容易にリアルタイムで測定することができ、測定結果を示すグラフをリアルタイムで表示することができるという大変優れた効果を奏する。
【００４２】
また、瞳孔の一部が欠けた場合、残りの瞳孔画像から瞳孔中心を算出するアルゴリズムを採用したので、コンピュータが解析不能に陥ることもなく、正確に眼球運動を解析することができるという大変優れた効果を奏する、
【図面の簡単な説明】
【図１】本発明に係る眼球画像解析システムの概略構成を示すブロック図。
【図２】眼球画像の取り込み方式を示す説明図。
【図３】瞳孔中心算定アルゴリズムの概略説明図。
【図４】眼球画像及び解析データを表示する表示画面の一例を示す説明図。
【符号の説明】
１………眼球画像解析システム
２………眼球撮影装置
３………画像記録再生装置
４………画像処理装置
５………表示装置
７Ｌ、７Ｒ………ＣＣＤカメラ
８………ＬＥＤ
２０Ｒ、２０Ｌ、２０Ｗ………眼球画像
２１〜２４………グラフ

Claims

眼球撮影装置（２）あるいは画像再生装置又は画像記録再生装置（３）から左眼と右眼の眼球画像が１フィールド毎あるいは１フレーム毎に交互に画像処理装置（４）に取り込まれてコンピュータ解析され、両眼の眼球運動あるいは両眼の瞳孔の大きさがリアルタイムで計測され、その計測結果を示すグラフ（２１〜２４）が表示装置（５）に両眼同時に表示されることを特徴とする眼球画像解析システム。
前記画像処理装置（４）が、前記眼球撮影装置（２）となる２台の撮像カメラ（７Ｌ，７Ｒ）から出力された左眼と右眼の眼球画像を１フィールド毎あるいは１フレーム毎に交互に取り込み、且つ、それら両眼の眼球画像を１フィールド毎あるいは１フレーム毎に交互に画像記録再生装置（３）に録画し、あるいは、その画像記録再生装置（３）に録画した両眼の眼球画像を１フィールド毎あるいは１フレーム毎に交互に取り込むように成されている請求項１記載の眼球画像解析システム。
眼球運動が、瞳孔の中心の動きを追跡して計測され、瞳孔の大きさが、瞳孔の面積あるいは直径を求めて計測される請求項１又は２記載の眼球画像解析システム。
眼瞼がかかって瞳孔の一部しか撮影されていない眼球画像が前記画像処理装置（４）に取り込まれたときに、撮影されている瞳孔の一部からその瞳孔の中心あるいは大きさを求める瞳孔中心算定アルゴリズムを有する請求項１乃至３いずれか一項記載の眼球画像解析システム。
前記瞳孔中心算定アルゴリズムが、
ａ）前記眼球画像から円弧状の瞳孔輪郭線を識別する瞳孔輪郭線識別手段と、
ｂ）眼球画像に所定間隔で描かれた多数の仮想水平線を想定し、瞳孔輪郭線と二つの点で交わる仮想水平線について、これら左右の交点を結ぶ線分の中点座標を平均処理することにより瞳孔中心のＸ座標を決定するＸ座標算定手段と、
ｃ）前記Ｘ座標算定手段で決定されたＸ座標上に中心を有し、且つ、同一Ｘ座標における瞳孔輪郭線上の点を通る多数の仮想円と、眼球画像に所定間隔で描かれる多数の仮想垂直線を想定し、各仮想垂直線上における瞳孔輪郭線と仮想円との距離の２乗の総和が最も小さくなる仮想円の中心のＹ座標を瞳孔中心のＹ座標とするＹ座標算定手段と、
を有する請求項４記載の眼球画像解析システム。
計測される眼球運動が、両眼の水平運動、垂直運動あるいは回旋運動である請求項１乃至５いずれか一項記載の眼球画像解析システム。
前記グラフ（２１〜２３）が、両眼の水平運動、垂直運動あるいは回旋運動と、その速度もしくは加速度、あるいは速度および加速度とを示す請求項１乃至６いずれか一項記載の眼球画像解析システム。
前記グラフ（２４）が、瞳孔の大きさと、その瞳孔の大きさが変化する速度および加速度とを示す請求項１乃至５いずれか一項記載の眼球画像解析システム。
前記グラフ（２１〜２４）が、両眼の眼球運動の左右差あるいは瞳孔の大きさの左右差を示す請求項１乃至８いずれか一項記載の眼球画像解析システム。
前記画像処理装置（４）に取り込まれた眼球画像が、前記グラフと共に前記表示装置に表示される請求項１乃至９いずれか一項記載の眼球画像解析システム。
左眼と右眼の眼球運動あるいは瞳孔の大きさに関する計測結果を個々に示すグラフが、時間軸を共有した一つのグラフ内に表示される請求項１乃至１０いずれか一項記載の眼球画像解析システム。
左眼と右眼の眼球運動あるいは瞳孔の大きさに関する計測結果を個々に示すグラフが、互いに異なる色で表示される請求項１乃至１１いずれか一項記載の眼球画像解析システム。