JP7777313B2 - ビデオ映像の眼球および頭位変化を追跡する超高速軽量ディープラーニングモデルを利用しためまい診断装置、方法、これを実現するためのプログラムが保存された記録媒体および記録媒体に保存されたコンピュータプログラム - Google Patents

Description

本発明は、眼球および頭位変化を追跡してめまいを診断する技術に関し、より詳細には、患者を撮影したビデオでディープラーニングモデルを基盤に眼球の動きと頭の動きを追跡してめまいを診断する装置、方法、これを実現するためのプログラムが保存された記録媒体および記録媒体に保存されたコンピュータプログラムに関する。

この部分に記述された内容は、単に本明細書に記載された実施形態に対する背景情報を提供するだけで必ずしも従来技術を構成するものではない。

めまい（ｖｅｒｔｉｇｏ）とは、自分や周囲事物が停止しているにもかかわらず、動いているような印象を受けるすべての症状を通称する用語であり、このようなめまいは、殆ど末梢前庭神経系（ｐｅｒｉｐｈｅｒａｌ ｖｅｓｔｉｂｕｌａｒ ｎｅｒｖｏｕｓ ｓｙｓｔｅｍ）の機能異常から発生する。末梢前庭神経系の異常が発生すると、頭位変化によって視線を固定することができる能力を意味する前庭眼球反射（ｖｅｓｔｉｂｕｌｏ－ｏｃｕｌａｒ ｒｅｆｌｅｘ）が消失して、眼球が固定されずに自発的に動くようになり、めまいを経験するようになる。前庭機能の異常によって発生する眼球の動きを眼振（ｎｙｓｔａｇｍｕｓ）と呼ぶ。医師は、めまいが発生するようになると、眼振を評価して前庭機能の異常有無を判断することになる。眼振は、末梢前庭神経系の異常だけでなく、中枢神経系（ｃｅｎｔｒａｌ ｎｅｒｖｅ ｓｙｓｔｅｍ）の異常によっても発生し、医師は、眼振の様相を通じて患者が訴えるめまいが末梢前庭係の問題であるか、それとも中枢神経係の問題であるかを把握することになる。すなわち、眼振の観察は、めまい患者を診療するのに最も大きい診断的情報を提供する重要な検査手段である。眼振は、１）水平方向（左／右）、２）垂直方向（上／下）、および３）回線方向（時計／反時計）の３軸で動く。このような眼振の観察は、現在までフレンツェルメガネ（ｆｒｅｎｚｅｌ ｇｌａｓｓｅｓ）、赤外線撮影（ｉｎｆｒａｒｅｄ ｐｈｏｔｏｇｒａｐｈｙ）、ビデオフレンツェルメガネ（ｖｉｄｅｏ ｆｒｅｎｚｅｌ ｇｌａｓｓｅｓ）およびビデオ眼振検査（ｖｉｄｅｏ ｎｙｓｔａｇｍｕｓ）を通じて確認することができる。

しかし、直接眼球の動きを観察するように考案されているフレンツェルメガネやビデオフレンツェルメガネは、直接目で見て評価をするため、微細な眼球の動きを判断する医師の経験によって診断的正確度が左右される可能性があり、これを補完するために眼振をグラフで出力して見せるビデオ眼振機は、速やかく且つ高い正確度の視線追跡技術を要求するため、高価な価格で広く普及化が大変な短所がある。

特に、頭位変化による眼球の動きである前庭眼球反射を最も適切に判断するための頭部衝動検査（ｈｅａｄ ｉｍｐｕｌｓｅ ｔｅｓｔ）は、裸眼で患者の頭を速く左右または上下に動かしながら発生する患者の眼球の動きを観察するため、検査を施行する人の熟練度によって検査結果が変わることがあり、その結果を客観化するために施行するビデオ頭部衝動検査は、頭動きの速度を測定するジャイロセンサ（ｇｙｒｏ ｓｅｎｓｏｒ）と眼球の動き速度を計算する眼球追跡機が別途に取り付けられた機器を通じて行われる。すなわち、このような機器があってこそ頭部衝動検査の結果を出力することができるか、頭動き対比眼球運動の比として評価される利益（ｇａｉｎ）を評価して前庭機能の異常有無を判断することができる。また、眼球の動き観察中にまばたきなどによるノイズ（ｎｏｉｓｅ）発生時に現在機器ではこれを別に除去する機能がないため、検査者が検査する時間の間に患者に一定時間の間に目を開くように話さなければならない不便があり、医師は、検査結果紙のみで患者の状態を把握する場合が多いため、このようなまばたきによって結果が歪む場合がある。

韓国公開特許公報第１０－２０１８－０１０１８１６号、２０１８．０９．１４

よって、本発明の目的は、一般的に使用されるビデオ眼振検査器機で撮影された眼球動き動画だけでなく、多様な機器でビデオで撮影された眼球の動きと頭の動きをディープラーニング学習モデルによって開発されたアルゴリズムがまばたきなどのノイズを自動で除去して純粋に眼球の動きのみを追跡して、これを数値化して示して医師が診断に使用させるめまい診断装置を提供することである。

また、本発明のまた他の目的は、既存の客観的な検査方法として活用されたビデオ頭部衝動検査を頭の動きを追跡して計算するためのジャイロセンサと眼球の動きを追跡して計算するための眼球追跡機のような複雑な器具が取り付けられたゴーグルを着用して検査するのではなく、簡単にウェブカメラやスマートフォンなどのカメラで患者の頭を左右あるいは上下に速く回転させる頭部衝動検査を施行する場面を動画で撮影し、本学習アルゴリズムがこれをビデオ動画だけで眼球の動きの速度と頭の動きの速度を計算して既存の複雑な機器を取り付けて施行するビデオ頭部衝動検査を置き換えて、末梢性と中枢性めまいを区分する重要な検査を動画撮影が可能なすべてのデバイスで施行することができ、めまいの診断で遠隔医療を可能にするめまい診断装置を提供することである。

また、本発明のまた他の目的は、前記めまい診断方法を実現するためのプログラムが保存された記録媒体および記録媒体に保存されたコンピュータプログラムを提供することである。

本明細書は、前記言及された課題に制限されず、言及されていないまた他の課題は、下記の記載から通常の技術者にとって明確に理解されるであろう。

上記の目的を達成するための実施形態に係る本発明は、患者の眼球を撮影した眼球動画から眼球部分を識別し、フレーム別に眼球イメージを抽出して瞳孔中心を認識し、瞳孔中心座標を計算して眼球の動きを学習する眼球動き学習部と、前記眼球動き学習部で学習した情報を入力されて患者を撮影した動画から眼球動きの情報を出力する眼球動き出力部と、前記患者を撮影した動画から頭動きの情報を出力する頭動き出力部と、前記眼球動きおよび頭動き出力部から眼球動きおよび頭動きの情報を入力されて眼球動き速度と頭動き速度を計算してゲイン値を計算する演算部と、前記演算部で計算されたゲイン値を入力されてめまいを診断する診断部と、を含む、めまい診断装置を提供する。

また、前記眼球動き学習部は、前記フレーム別に分割された眼球イメージで強膜、虹彩および瞳孔に対する領域を分割してオブジェクト分割モデルを生成するオブジェクト分割モデル生成モジュールと、前記オブジェクト分割モデル生成の中間層の情報を入力されて眼球周辺の解剖学的な構造物を学習し、まばたきを識別してまばたき分類モデルを生成するまばたき識別モジュールと、前記オブジェクト分割モデル生成の中間層の情報を入力されて視線の方向に対するモデルを生成する視線追跡モデル生成モジュールと、を含むことができる。

また、前記眼球動き学習部は、前記まばたき分類モデルを基盤に患者が目を閉じると瞳孔が隠れた部分を類推して瞳孔が隠れる前の眼球で瞳孔中心を認識することができる。

また、前記眼球動き学習部は、前記瞳孔中心に対する情報を３軸（水平／垂直／回線）のグラフで出力するグラフ出力モジュールをさらに含むことができる。

また、前記眼球動き出力部は、前記患者を撮影した動画から、１）患者眼球の強膜外郭部位上側端、２）下側端、３）左側端、４）右側端の座標を計算し、５）前記眼球動き学習部で計算された瞳孔中心の座標を入力されて瞳孔中心の方向に対する２次元座標を３次元座標に変換して眼球の方向ベクトルを計算し、眼球動きの情報を出力することができる。

また、前記頭動き出力部は、前記患者を撮影した動画から、１）患者の鼻、２）眼球の強膜外郭部位左側端、３）右側端、および４）額中心の座標を計算し、頭方向に対する２次元座標を３次元座標に変換して頭の方向ベクトルを計算し、頭動きの情報を出力することができる。

また、前記演算部は、前記患者を撮影した動画における時間解像度を「ＦＰＳ」とし、頭部を大きく動かす時点を「ｈｅａｄ ｐｅａｋ ｉｎｄｅｘ」とし、頭部を大きく動かした後、１秒以内の時間に反対方向に瞳孔が動くときを「ｅｙｅ ｐｅａｋ ｉｎｄｅｘ」とすると、前記ゲイン値は、
で計算されることができる。

前記眼球動き出力部で出力された眼球の動きおよび前記ゲイン値を利用して前庭神経機能の異常有無を判断することができる。

また、前記目的を達成するための他の実施形態に係る本発明は、（ａ）患者の眼球を撮影した眼球動画から眼球部分を識別し、フレーム別に眼球イメージを抽出して瞳孔中心を認識し、瞳孔中心座標を計算して瞳孔中心の動きを学習する過程と、（ｂ）前記（ａ）過程で学習された眼球動きの情報を利用して患者を撮影した動画から眼球動きの情報を出力する過程と、（ｃ）前記患者を撮影した動画から頭動きの情報を出力する過程と、（ｄ）前記（ｂ）過程および（ｃ）過程で出力された眼球動きおよび頭動きの情報を利用して眼球動き速度と頭動き速度を計算してゲイン値を計算する過程と、（ｅ）前記（ｄ）過程で計算されたゲイン値を利用してめまいを診断する過程と、を含む、めまい診断方法を提供する。

また、前記（ａ）過程は、（ａ－１）前記フレーム別に分割された眼球イメージで強膜、虹彩および瞳孔に対する領域を分割してオブジェクト分割モデルを生成する過程と、（ａ－２）前記（ａ－１）過程の中間層の情報を利用して眼球周辺の解剖学的な構造物を学習し、まばたきを識別してまばたき分類モデルを生成する過程と、（ａ－３）前記（ａ－１）過程の中間層の情報を利用して視線の方向に対するモデルを生成する過程と、を含むことができる。

また、前記（ａ）過程は、前記（ａ－２）過程で生成されたまばたき分類モデルを基盤に患者が目を閉じると瞳孔が隠れた部分を類推して瞳孔が隠れる前状態の眼球で瞳孔中心を認識する過程であってよい。

また、前記（ａ）過程は、前記瞳孔中心に対する情報を３軸（水平／垂直／回線）のグラフで出力する過程をさらに含むことができる。

また、前記（ｂ）過程は、前記患者を撮影した動画から、１）患者眼球の強膜外郭部位上側端、２）下側端、３）左側端、４）右側端の座標を計算し、５）前記（ａ）過程で計算された瞳孔中心の座標を利用して瞳孔中心の方向に対する２次元座標を３次元座標に変換して眼球の方向ベクトルを計算し、眼球動きの情報を出力する過程であってよい。

また、前記（ｃ）過程では、前記患者を撮影した動画から、１）患者の鼻、２）眼球の強膜外郭部位左側端、３）右側端、および４）額中心の座標を計算し、頭方向に対する２次元座標を３次元座標に変換して頭の方向ベクトルを計算し、頭動きの情報を出力する過程であってよい。

また、前記（ｄ）過程は、前記患者を撮影した動画における時間解像度を「ＦＰＳ」とし、頭部を大きく動かす時点を「ｈｅａｄ ｐｅａｋ ｉｎｄｅｘ」とし、頭部を大きく動かした後、１秒以内の時間に反対方向に瞳孔が動くときを「ｅｙｅ ｐｅａｋ ｉｎｄｅｘ」とすると、前記ゲイン値は、
で計算される過程であってよい。

また、前記（ｅ）過程は、前記（ｂ）過程で出力された眼球の動きおよび前記（ｄ）過程で計算されたゲイン値を利用して前庭神経機能の異常を判断する過程であってよい。

また、上記の目的を達成するための本発明のまた他の実施形態に係る上記のめまい診断方法を実現するためのプログラムが保存されたコンピュータ読み取り可能な記録媒体を提供する。

また、上記の目的を達成するための本発明のまた他の実施形態に係る上記のめまい診断方法を実現するためのコンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラムを提供する。

以上で説明したように、本発明の実施形態に係るめまい診断装置および方法によれば、本アルゴリズムは、既存の検査器機に適用して自動でまばたきなどのノイズを除去して純粋に眼球の動きと関連した結果物を出力できるようにすることができるだけでなく、患者の眼球動画および患者を撮影した動画からディープラーニングモデルを通じて眼球の動きと頭の動きを計算して如何なる複雑な機器なしにビデオ撮影だけで簡便にめまいを検査することができる。

また、本発明の実施形態に係るめまい診断装置および方法によれば、患者の眼球動画および患者を撮影した動画を基盤に頭部衝動検査が可能であり、めまい診断で遠隔医療を可能にすることができ、これを通じて保健健康に寄与することができる。

本発明の効果は、以上で言及された効果に制限されず、言及されていないまた他の効果は、下記の記載から通常の技術者にとって明確に理解されるであろう。

本明細書の実施形態に係るめまい診断装置を簡略に示すブロック図である。 本明細書に係る眼球の動きに対する学習過程を簡略に示す図面である。 眼球動画からオブジェクト分割モデルを生成し、瞳孔中心を認識して瞳孔中心の動きをグラフで出力する過程を見せる図面である。 瞳孔中心認識のための人工知能モデル生成を示す図面である。 頭の動きによる眼球変化の速度を測定する方法を示す図面である。 本明細書の実施形態に係るめまい診断方法を示すフローチャートである。 本明細書の実施形態に係る眼球動き学習部の瞳孔中心認識および瞳孔中心座標の計算過程を示すフローチャートである。

以下、本発明の利点および特徴、それらを達成する方法は、添付の図面とともに詳細に後述されている実施形態を参照すれば明確になる。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現され、本発明の属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義される。

また、本明細書で使用される用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。そして、本明細書において、単数形は文句で特に言及しない限り複数形も含む。たとえば、明細書で使用される「含む」（または「備える」）および／または「含んでいる」（または「備えている」）は、言及された構成要素と過程を追加することができる。明細書全体に亘って同一の参照符号は同一の構成要素を称する。「および／または」は、言及されたアイテムのそれぞれおよび１つ以上のすべての組み合わせを含む。

また、他の定義がなければ、本明細書で使用されるすべての用語（技術および科学的用語を包含）は、通常の知識を有する者に共通的に理解できる意味として使用される。また、一般的に使用される辞書に定義されている用語は、明白に特に定義されていない限り、理想的にまたは過度に解析されない。

図１は、本明細書の実施形態に係るめまい診断装置を簡略に示すブロック図である。

図１を参照すれば、本明細書の実施形態に係るめまい診断装置１０は、患者の眼球を眼球動画１で眼球の動きを学習することができる。瞳孔中心の動きに対する学習情報を基盤に頭の動きによる眼球の動きを測定してめまいを診断することができる。これを通じて、ある機器の使用なしに前記眼球動画１および患者撮影動画２を利用してめまいを診断することができる。前記眼球動画１および患者撮影動画２は、ビデオ撮影が可能な撮影機器で撮影された動画であってよい。動画データは、ＭＰ４、ＭＯＶ、ＷＭＶ、ＡＶＩ、ＭＫＶなど多様な形式が存在し、本明細書に係る動画データは、特定動画ファイル形式に制限されない。

前記めまい診断装置１０は、眼球動き学習部１１、眼球動き出力部１２、頭動き出力部１３、演算部１４、および診断部１５を含むことができる。

図２は、本明細書に係る眼球の動きに対する学習過程を簡略に示す図面である。

図１および図２を参照すれば、前記眼球動き学習部１１は、前記眼球動画１から眼球部分を識別して動画フレーム（ｆｒａｍｅ）別に眼球イメージ２１を抽出することができる。前記眼球動き学習部１１は、前記眼球イメージ２１で瞳孔中心を認識し、瞳孔中心の座標値を計算して眼球の動きを学習することができる。イメージデータは、ＪＰＧ、ＰＮＧ、ＧＩＦ、ＳＶＧなど多様な形式が存在し、本明細書に係るイメージデータは、特定イメージファイル形式に制限されない。

前記眼球動き学習部１１は、オブジェクト分割モデル生成モジュール１１１、まばたき識別モジュール１１２および視線追跡モデル生成モジュール１１３を含むことができる。

前記オブジェクト分割モデル生成モジュール１１１は、前記眼球イメージ２１で眼球を強膜（ｓｃｌｅｒａ）、虹彩（ｉｒｉｓ）および瞳孔（ｐｕｐｉｌ）に分割したオブジェクト分割モデル２２を生成することができる。前記眼球動き学習部１１は、瞳孔中心を認識するにあたって、前記オブジェクト分割モデル２２の情報を利用することができる。

前記オブジェクト分割モデル生成モジュール１１１は、従来の赤外線カメラを利用した眼振検査方法で提供できなかった強膜、虹彩および瞳孔の領域に対する情報を提供することができる。

前記まばたき識別モジュール１１２は、前記オブジェクト分割モデル生成の中間層の情報を入力されて眼球周辺の解剖学的な構造物を学習してまばたきを識別し、まばたきのステップを分類したまばたき分類モデルを生成することができる。

前記眼球動き学習部１１は、前記まばたき分類モデルを基盤に患者が目を閉じると瞳孔が隠れた部分を類推して瞳孔が隠れる前の眼球で瞳孔中心を認識することができる。また、まばたきによるノイズ（ｎｏｉｓｅ）を除去することができ、前記まばたきにより結果が歪む場合を防止することができる。

前記視線追跡モデル生成モジュール１１３は、前記オブジェクト分割モデル生成の中間層の情報を入力されて視線の方向に対するモデルである視線追跡モデルを出力することができる。前記眼球動き学習部１１は、瞳孔中心を認識するにあたって、前記視線追跡モデルの情報を利用することができる。

前記眼球動き学習部１１は、グラフ出力モジュール１１４をさらに含むことができる。前記グラフ出力モジュール１１４は、オブジェクト分割モデル２２、まばたき分類モデルおよび視線追跡モデル２３の情報に基づいて計算された瞳孔中心の座標値を３軸の動きグラフ２４で出力することができる。前記３軸のグラフ２４は、瞳孔中心の左／右方向の動きを見せる水平動きグラフ２４１、上／下方向の動きを見せる垂直動きグラフ２４２および時計／反時計方向の動きを見せる回線動きグラフ（図示しない）で出力されることができる。

図３は、眼球動画からオブジェクト分割モデルを生成し、瞳孔中心を認識して瞳孔中心の動きをグラフで出力する過程を見せる図面である。

図１および図３を参照すれば、前記オブジェクト分割モデル生成モジュール１１１は、前記眼球動き学習部１１から抽出した患者の眼球イメージからオブジェクト分割モデル２２を生成することができる。前記オブジェクト分割モデルは、患者の眼球イメージを強膜３０、虹彩３１および瞳孔３２に分割することができる。また、前記オブジェクト分割モデル生成モジュール１１１は、オブジェクト分割された強膜３０、虹彩３１および瞳孔３２のイメージを統合したオブジェクト統合イメージ３３を出力することができる。前記眼球動き学習部１１は、前記オブジェクト統合イメージ３３を利用して瞳孔中心の動きをリアルタイムで追跡することができる。

前記眼球動き学習部１１は、前記オブジェクト統合イメージ３３を活用して認識した瞳孔中心の情報を前記グラフ出力モジュール１１４を通じて瞳孔中心動きのグラフ３４を出力することができる。

前記瞳孔中心グラフ３４は、ディープラーニングモデル（ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）が提供する瞳孔中心の情報を通じて出力されることができる。また、前記瞳孔中心グラフ３４は、オブジェクト分割された瞳孔３２の重心を通じてさらに精密に計算されることができる。前記瞳孔中心グラフ３４は、垂直動きグラフ３４１、水平動きグラフ３４２および回線動きグラフ（図示しない）で出力されることができる。

図４は、瞳孔中心認識のための人工知能モデル生成を示す図面である。

図４を参照すれば、人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）が瞳孔中心の情報をよく学習するために、ディープラーニングモデルを通じてオブジェクト分割モデル２２、まばたき分類モデル４０および視線追跡モデル４１を生成することができる。

前記オブジェクト分割モデル生成モジュール１１１は、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＣＮＮ）ディープラーニングモデルを利用して前記眼球イメージ２１から前記オブジェクト分割モデル２２を生成することができる。ＣＮＮディープラーニングモデルは、当業者に広く知られている技術であるので、詳しい説明は省略する。

前記まばたき分類モデル４０および視線追跡モデル４１は、前記オブジェクト分割モデル２２の生成過程の中間層４２の情報を活用して生成されることができる。前記中間層４２の情報を活用することで、従来のディープラーニングモデルよりさらに効率的に瞳孔中心の情報を学習することができる。

前記まばたき分類モデル４０は、前記中間層４２の情報に基づいてまばたきをする動きを目が開かれている（ｏｐｅｎ）、目が閉じられる状態（ｃｌｏｓｉｎｇ）、または目が閉じられている状態（ｃｌｏｓｅｄ）に分類することができる。

前記視線追跡モデル４１は、前記中間層４２の情報に基づいて視線の方向をヒートマップ（ｈｅａｔｍａｐ）およびキーポイント（ｋｅｙｐｏｉｎｔｓ）で示すことができる。

本明細書によれば、前記眼球動き学習部１１は、前記オブジェクト分割モデル２２、まばたき分類モデル４０および視線追跡モデル４１のうち少なくとも１個以上のモデルを利用して瞳孔中心の情報を学習することができる。

一例として、前記眼球動き学習部１１は、前記まばたき分類モデル４０および視線追跡モデル４１の情報のみを利用して眼球の動きを学習することができる。この場合、前記オブジェクト分割モデル２２の情報を利用しないため、前記中間層４２の長くかかる演算を行わなくてよい。これにより、瞳孔中心に対する情報を従来のディープラーニングモデルより速く学習して出力することができる。

前記眼球の動きを学習するためのＣＮＮディープラーニングモデルは一例に該当し、該当の学習方法に制限されない。

図５は、頭の動きによる眼球変化の速度を測定する方法を示す図面である。

図１および図５を参照すれば、前記眼球動き出力部１２と前記頭動き出力部１３は、前記患者撮影動画２から患者の眼球動きと頭動きの情報を出力することができる。

前記眼球動き出力部１２は、前記眼球動き学習部１１から学習された眼球の動きに対する情報を入力されることができる。前記眼球動き出力部１２は、前記学習された眼球動きの情報に基づいて前記患者撮影動画２から眼球動きの情報を出力し、眼球の動きをグラフ５３で出力することができる。

前記眼球動き出力部１２は、眼球動きの情報を出力するために眼球の方向ベクトル（ｄｉｒｅｃｔｉｏｎ ｖｅｃｔｏｒ）を計算することができる。眼球の方向ベクトルを計算するために、少なくとも４個以上の点に対する２次元座標をＰｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ（ＰｎＰ）ｐｏｓｅ ｃｏｍｐｕｔａｔｉｏｎを使用して３次元空間上の座標に変換することができる。前記ＰｎＰ ｐｏｓｅ ｃｏｍｐｕｔａｔｉｏｎは、当業者に知られている技術であるので、詳しい説明は省略する。

眼球の方向ベクトルを計算するために、前記眼球動き出力部１２は、１）強膜外郭部位の上側端、２）下側端、３）左側端、４）右側端の座標、および５）前記眼球動き学習部１１で計算された瞳孔中心の２次元座標に対してＰｎＰ ｐｏｓｅ ｃｏｍｐｕｔａｔｉｏｎを行うことができる。

また、前記眼球動き出力部１２は、前記患者撮影動画２で患者の眼球動きによって瞳孔中心を表示する瞳孔中心表示５０を出力することができる。

前記頭動き出力部１３は、前記患者撮影動画２から頭動きの情報を出力して頭動きをグラフ５２で出力することができる。

前記頭動き出力部１３は、頭動きの情報を出力するために頭の方向ベクトルを計算することができる。前記頭動き出力部１３は、前記患者撮影動画２から、１）鼻、２）強膜外郭部位左側端、３）右側端、および４）額中心の座標を利用したＰｎＰ ｐｏｓｅ ｃｏｍｐｕｔａｔｉｏｎを利用して頭の方向ベクトルを計算することができる。また、前記頭動き出力部１３は、前記患者撮影動画２で鼻の中心の動きを利用して頭の動きを認識することができる。追加的に、前記頭動き出力部１３は、前記患者撮影動画２に患者の鼻の中心を出力する鼻中心表示５１を出力することができる。

本明細書において、頭の動きを出力するために、前記患者撮影動画２から、１）鼻、２）強膜外郭部位左側端、３）右側端、および４）額中心の座標を利用した。しかし、必ずしも前記４個の座標を通じて前記頭の動きを出力しなければならないものではない。一例として、２）強膜外郭部位左側端、および３）右側端の座標の代わりに強膜外郭部位上側端および下側端の座標を利用することができる。また、前記４個の座標だけでなく、前記患者撮影動画２で患者の顔に存在する任意の点に対する座標を追加して前記頭の動きを出力することができる。よって、前記頭の動きを出力するために、必ずしも前記４個の座標を利用しなければならないものではなく、前記患者撮影動画２で患者の顔にある少なくても３個以上の任意の点の座標を利用してＰｎＰ ｐｏｓｅ ｃｏｍｐｕｔａｔｉｏｎを行って、前記頭の動きを出力することができるものと理解しなければならない。

前記演算部１４は、前記眼球動き出力部１２および頭動き出力部１３で入力された眼球動きおよび頭動きの情報を利用して眼球動きの速度および頭動きの速度を計算することができる。これを利用して、前記演算部１４は、頭動きの速度と眼球動きの速度の割合を意味するゲイン値（ｇａｉｎ）を計算することができる。

従来の技術によれば、ゲイン値を計算するために、患者が見つめる物体はカメラ中央にあると仮定する。このとき、ゲイン値は［数式１］で得ることができる。

しかし、動画から所望の時間解像度を得ることができず、単眼注視ベクトルの予測が不正確である。

本明細書によれば、頭動きによる眼球の動きは同じ方向に同時に起きるので、両眼の変化に対する平均を取って眼球注視ベクトルを予測することができる。前記眼球注視ベクトルを利用して眼球方向の正確度を高めることができる。

ゲイン値を計算するために、前記患者撮影動画２の時間解像度を「ＦＰＳ」とし、頭部を大きく動かす時点を「ｈｅａｄ ｐｅａｋ ｉｎｄｅｘ」とし、頭部を大きく動かした後、１秒以内の時間に反対方向に瞳孔が動くときを「ｅｙｅ ｐｅａｋ ｉｎｄｅｘ」とすると、ゲイン値は［数式２］で計算されることができる。

本明細書の実施形態によれば、前記「ｅｙｅ ｐｅａｋ ｉｎｄｅｘ」は、眼球が頭と反対に動くときの速度値だけ抽出して３四分位値以上が初めて現れた時点の値に該当することができる。

また、前記演算部１４は、頭と眼球の即時変化を示すグラフ５４とゲイン値のグラフ５５を出力することができる。このとき、左眼と右眼の変化とゲイン値をそれぞれ出力することができる。

前記診断部１５は、前記演算部１４で計算されたゲイン値を利用して患者のめまいを診断することができる。

前記ゲイン値は、臨床的に前庭神経（ｖｅｓｔｉｂｕｌａｒ ｎｅｒｖｅ）の異常有無を判断することができる。前庭神経に異常のない人の場合、頭が動くと頭が動いた分だけ目が一緒に動く。これによって、ゲイン値を計算すれば「１」に近接した値を得ることができる。

しかし、前庭神経に異常が生じると、頭が動いた分だけ目が一緒に動くことができない。これによって、前記ゲイン値は「１」より小さな値を持つようになる。

一例として、前記患者撮影動画２から計算された右眼のゲイン値が「０．７」で左眼のゲイン値が「１．２３」であってよい。この場合、右眼のゲイン値は「１」より小さな値を持っているので、右側前庭神経機能の低下を意味することができる。

また、前記診断部１５は、前記ゲイン値と前記眼球動き出力部１２で計算された眼球動きの方向ベクトルを利用して中枢性前庭神経（ｃｅｎｔｒａｌ ｖｅｓｔｉｂｕｌａｒ ｎｅｒｖｅ）機能の異常と末梢性前庭神経（ｐｅｒｉｐｈｅｒａｌ ｖｅｓｔｉｂｕｌａｒ ｎｅｒｖｅ）機能の異常を判断することができる。

図６は、本明細書の実施形態に係るめまい診断方法を示すフローチャートである。

図１および図６を参照すれば、患者の眼球を撮影した眼球動画１から眼球の動きを学習することができる（Ｓ１）。眼球の動きを学習するために前記眼球動画１で眼球部分を識別することができる。以後、前記眼球動画１でフレーム別に眼球のイメージを抽出することができる。前記抽出された眼球のイメージを利用して瞳孔中心を認識し、瞳孔中心の座標を計算して眼球の動きを学習することができる。

図７は、本発明の実施形態に係る眼球動き学習部の瞳孔中心認識および瞳孔中心座標の計算過程を示すフローチャートである。

図１および図７を参照すれば、前記眼球動画１から眼球のイメージを抽出することができる（Ｓ５）。前記眼球のイメージを利用してオブジェクト分割モデルを生成することができる（Ｓ７）。また、前記オブジェクト分割モデルを生成する中間層の情報を入力されてまばたき分類モデル生成（Ｓ６）および視線追跡モデル生成（Ｓ８）をすることができる。前記まばたき分類モデルを利用して前記眼球動画１で患者が目を閉じる場合、目を閉じる前の眼球を利用して瞳孔中心を認識することができる。以後、前記オブジェクト分割モデル、まばたき分類モデルおよび視線追跡モデルのうち少なくとも１個以上のモデルを利用して瞳孔中心を認識し、瞳孔中心座標を計算することができる（Ｓ９）。

前記眼球動き学習過程（Ｓ１）で瞳孔中心の座標をグラフで出力する過程（Ｓ１０）をさらに含むことができる。この過程で、瞳孔中心座標のグラフは水平方向、垂直方向および回線方向の３軸のグラフで出力されることができる。

続いて、患者撮影動画２で患者の眼球動きおよび頭動きを出力することができる（Ｓ２）。前記患者の眼球動きは、眼球動き学習過程（Ｓ１）で学習した瞳孔中心に対する情報を基盤に出力されることができる。また、前記眼球動きと頭動きの情報は、グラフで出力されることができる。

前記眼球動きの情報を出力するために、前記患者撮影動画２から、１）患者眼球の強膜外郭部位上側端、２）下側端、３）左側端、４）右側端の座標および前記眼球の動き学習過程（Ｓ１）で計算された瞳孔中心の座標を利用して瞳孔中心の方向に対する２次元座標を３次元座標に変換して眼球の方向ベクトルを計算することができる。

前記頭動きの情報を出力するために、前記患者撮影動画２から、１）患者の鼻、２）眼球の強膜外郭部位左側端、３）右側端、および４）額中心の座標を利用して頭方向に対する２次元座標を３次元座標に変換して頭の方向ベクトルを計算することができる。

続いて、患者の眼球動きおよび頭動きを基盤にゲイン値を計算して出力することができる（Ｓ３）。ゲイン値を計算するために、前記眼球動きおよび頭動きデータを利用して眼球動き速度および頭動き速度を計算することができる。

前記眼球動き速度および頭動き速度を利用して前記ゲイン値を計算することができる。前記患者撮影動画２での時間解像度を「ＦＰＳ」とし、頭部を大きく動かす時点を「ｈｅａｄ ｐｅａｋ ｉｎｄｅｘ」とし、頭部を大きく動かし後、１秒以内の時間に反対方向に瞳孔が動くときを「ｅｙｅ ｐｅａｋ ｉｎｄｅｘ」とすると、前記ゲイン値は、前記［数式２］で計算されることができる。

また、頭と眼球の即時変化と前記ゲイン値はグラフで出力されることができる。この過程で、左眼と右眼の変化とゲイン値をそれぞれ示すことができる。

続いて、前記ゲイン値に基づいてめまいを診断することができる（Ｓ４）。前記ゲイン値が「１」に近いほど正常を意味し、これから外れるほど前庭神経機能の異常を意味することができる。また、前記ゲイン値と前記眼球動きを基盤に中枢性前庭神経機能の異常と末梢性前庭神経機能の異常を判断することができる。

以上において説明した本発明の実施形態に係るめまい診断方法は、例えば、コンピュータ読み取り可能媒体に保存されてコンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な記録媒体の形態（またはコンピュータプログラム製品）で実現されることができる。

ここで、コンピュータ読み取り可能媒体は、コンピュータ保存媒体（例えば、メモリ、ハードディスク、磁気／光学媒体またはＳＳＤ（Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ）など）を含むことができる。また、コンピュータ読み取り可能媒体は、コンピュータによってアクセスされることができる任意の利用可能な媒体であってよいが、例えば、揮発性および不揮発性媒体、分離型および非分離型媒体をすべて含む。

また、本発明の実施形態に係るめまい診断方法は、全体または一部がコンピュータによって実行可能な命令を含み、コンピュータプログラムは、プロセッサによって処理されるプログラミング可能な機械命令を含み、高レベルプログラミング言語（Ｈｉｇｈ－ｌｅｖｅｌ Ｐｒｏｇｒａｍｍｉｎｇ Ｌａｎｇｕａｇｅ）、オブジェクト指向プログラミング言語（Ｏｂｊｅｃｔ－ ｏｒｉｅｎｔｅｄ Ｐｒｏｇｒａｍｍｉｎｇ Ｌａｎｇｕａｇｅ）、アセンブリー言語または機械言語などで実現されることができる。

以上のように、本発明の好ましい実施形態が特定用語を使用して説明および図示されたが、このような用語はあくまでも本発明を明確に説明するためのものである。そして、本発明の実施形態および記述された用語は、次の請求の範囲の技術的思想および範囲から逸脱することなく様々な変更および変化が加えられ得ることは自明である。このように変形された実施形態は、本発明の思想および範囲から個別に理解されてはならず、本発明の請求の範囲内に属するとすべきである。

１０ めまい診断装置、１１ 眼球動き学習部、１２ 眼球動き出力部、１３ 頭動き出力部、１４ 演算部、１５ 診断部、１１１ オブジェクト分割モデル生成モジュール、１１２ まばたき識別モジュール、１１３ 視線追跡モデル生成モジュール、１１４ グラフ出力モジュール。

Claims (14)

1. 患者の眼球を撮影した眼球動画から眼球部分を識別し、フレーム別に眼球イメージを抽出して瞳孔中心を認識し、瞳孔中心座標を計算して眼球の動きを学習する眼球動き学習部と、
   前記眼球動き学習部で学習した情報を入力されて患者を撮影した動画から眼球動きの情報を出力する眼球動き出力部と、
   前記患者を撮影した動画から頭動きの情報を出力する頭動き出力部と、
   前記眼球動きおよび頭動き出力部から眼球動きおよび頭動きの情報を入力されて眼球動き速度と頭動き速度を計算してゲイン値を計算する演算部と、
   前記演算部で計算されたゲイン値を入力されてめまいを診断する診断部と、
   を含み、
   前記眼球動き学習部は、
   前記フレーム別に分割された眼球イメージで強膜、虹彩および瞳孔に対する領域を分割してオブジェクト分割モデルを生成するオブジェクト分割モデル生成モジュールと、
   前記オブジェクト分割モデル生成の中間層の情報を入力されて眼球周辺の解剖学的な構造物を学習し、まばたきを識別してまばたき分類モデルを生成するまばたき識別モジュールと、
   前記オブジェクト分割モデル生成の中間層の情報を入力されて視線の方向に対するモデルを生成する視線追跡モデル生成モジュールと、
   を含み、
   前記眼球動き学習部は、前記まばたき分類モデルを基盤に患者が目を閉じると瞳孔が隠れた部分を類推して瞳孔が隠れる前の眼球で瞳孔中心を認識する、
   ことを特徴とするめまい診断装置。
2. 前記眼球動き学習部は、
   前記瞳孔中心に対する情報を３軸（水平／垂直／回線）のグラフで出力するグラフ出力モジュールをさらに含む、
   ことを特徴とする請求項１に記載のめまい診断装置。
3. 前記眼球動き出力部は、
   前記患者を撮影した動画から、１）患者眼球の強膜外郭部位上側端、２）下側端、３）左側端、４）右側端の座標を計算し、５）前記眼球動き学習部で計算された瞳孔中心の座標を入力されて瞳孔中心の方向に対する２次元座標を３次元座標に変換して眼球の方向ベクトルを計算し、眼球動きの情報を出力する、
   ことを特徴とする請求項１に記載のめまい診断装置。
4. 前記頭動き出力部は、
   前記患者を撮影した動画から、１）患者の鼻、２）眼球の強膜外郭部位左側端、３）右側端、および４）額中心の座標を計算し、頭方向に対する２次元座標を３次元座標に変換して頭の方向ベクトルを計算し、頭動きの情報を出力する、
   ことを特徴とする請求項１に記載のめまい診断装置。
5. 前記演算部は、
   前 記患者を撮影した動画における時間解像度を「ＦＰＳ」とし、頭部を大きく動かす時点を「ｈｅａｄ ｐｅａｋ ｉｎｄｅｘ」とし、頭部を大きく動かした後、１秒以内の時間に反対方向に瞳孔が動くときを「ｅｙｅ ｐｅａｋ ｉｎｄｅｘ」とすると、前記ゲイン値は、
   で計算される、
   ことを特徴とする請求項１に記載のめまい診断装置。
6. 前記診断部は、
   前記眼球動き出力部で出力された眼球の動きおよび前記ゲイン値を利用して前庭神経機能の異常を判断する、
   ことを特徴とする請求項１に記載のめまい診断装置。
7. コンピュータが、
   （ａ）患者の眼球を撮影した眼球動画から眼球部分を識別し、フレーム別に眼球イメージを抽出して瞳孔中心を認識し、瞳孔中心座標を計算して眼球の動きを学習する過程と、
   （ｂ）前記（ａ）過程で学習された眼球動きの情報を利用して患者を撮影した動画から眼球動きの情報を出力する過程と、
   （ｃ）前記患者を撮影した動画から頭動きの情報を出力する過程と、
   （ｄ）前記（ｂ）過程および（ｃ）過程で出力された眼球動きおよび頭動きの情報を利用して眼球動き速度と頭動き速度を計算して、前記患者の前庭神経機能の異常を示すゲイン値を計算する過程と、
   を実行し、
   前記（ａ）過程は、
   （ａ－１）前記フレーム別に分割された眼球イメージで強膜、虹彩および瞳孔に対する領域を分割してオブジェクト分割モデルを生成する過程と、
   （ａ－２）前記（ａ－１）過程の中間層の情報を利用して眼球周辺の解剖学的な構造物を学習し、まばたきを識別してまばたき分類モデルを生成する過程と、
   （ａ－３）前記（ａ－１）過程の中間層の情報を利用して視線の方向に対するモデルを生成する過程と、
   を含み、
   前記（ａ）過程は、前記（ａ－２）過程で生成されたまばたき分類モデルを基盤に患者が目を閉じると瞳孔が隠れた部分を類推して瞳孔が隠れる前の眼球で瞳孔中心を認識する過程である、
   ことを特徴とするめまい診断装置の作動方法。
8. 前記（ａ）過程は、
   瞳孔中心に対する情報を３軸（水平／垂直／回線）のグラフで出力する過程をさらに含む、
   ことを特徴とする請求項７に記載のめまい診断装置の作動方法。
9. 前記（ｂ）過程は、
   前記患者を撮影した動画から、１）患者眼球の強膜外郭部位上側端、２）下側端、３）左側端、４）右側端の座標を計算し、５）前記（ａ）過程で計算された瞳孔中心の座標を利用して瞳孔中心の方向に対する２次元座標を３次元座標に変換して眼球の方向ベクトルを計算し、眼球動きの情報を出力する過程である、
   ことを特徴とする請求項７に記載のめまい診断装置の作動方法。
10. 前記（ｃ）過程は、
    前記患者を撮影した動画から、１）患者の鼻、２）眼球の強膜外郭部位左側端、３）右側端、および４）額中心の座標を計算し、頭方向に対する２次元座標を３次元座標に変換して頭の方向ベクトルを計算し、頭動きの情報を出力する過程である、
    ことを特徴とする請求項７に記載のめまい診断装置の作動方法。
11. 前記（ｄ）過程は、
    前記患者を撮影した動画における時間解像度を「ＦＰＳ」とし、頭部を大きく動かす時点を「ｈｅａｄ ｐｅａｋ ｉｎｄｅｘ」とし、頭部を大きく動かした後、１秒以内の時間に反対方向に瞳孔が動くときを「ｅｙｅ ｐｅａｋ ｉｎｄｅｘ」とすると、前記ゲイン値は、
    で計算される過程である、
    ことを特徴とする請求項７に記載のめまい診断装置の作動方法。
12. 前記（ｅ）過程は、
    前記（ｂ）過程で出力された眼球の動きおよび前記（ｄ）過程で計算された前記ゲイン値を利用して前庭神経機能の異常を判断する過程である、
    ことを特徴とする請求項７に記載のめまい診断装置の作動方法。
13. 請求項７から請求項１２の何れか１項に記載のめまい診断装置の作動方法を実現するためのプログラムが保存されたコンピュータ読み取り可能な記録媒体。
14. 請求項７から請求項１２の何れか１項に記載のめまい診断装置の作動方法を実現するためのコンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラム。