JP7759070B1 - 動画で眼球及び頭囲変化を追跡して平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行うための平衡機能管理システム及び方法、これを実現するためのプログラムが保存された記録媒体及び記録媒体に保存されたコンピュータプログラム - Google Patents

動画で眼球及び頭囲変化を追跡して平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行うための平衡機能管理システム及び方法、これを実現するためのプログラムが保存された記録媒体及び記録媒体に保存されたコンピュータプログラム

Info

Publication number
JP7759070B1
JP7759070B1 JP2024179367A JP2024179367A JP7759070B1 JP 7759070 B1 JP7759070 B1 JP 7759070B1 JP 2024179367 A JP2024179367 A JP 2024179367A JP 2024179367 A JP2024179367 A JP 2024179367A JP 7759070 B1 JP7759070 B1 JP 7759070B1
Authority
JP
Japan
Prior art keywords
head
neural network
eyeball
artificial neural
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024179367A
Other languages
English (en)
Other versions
JP2026027160A (ja
Inventor
スンクワン ホン
ハヌル クォン
デヒ ユン
ウン－チョン リム
Original Assignee
ニューロイヤーズ カンパニー リミテッド
インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020240104114A external-priority patent/KR20260020770A/ko
Priority claimed from KR1020240104115A external-priority patent/KR20260020771A/ko
Application filed by ニューロイヤーズ カンパニー リミテッド, インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ filed Critical ニューロイヤーズ カンパニー リミテッド
Application granted granted Critical
Publication of JP7759070B1 publication Critical patent/JP7759070B1/ja
Publication of JP2026027160A publication Critical patent/JP2026027160A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
    • A61B5/4023—Evaluating sense of balance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesizing signals from measured signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)

Abstract

【課題】平衡機能状態情報生成及び平衡機能リハビリテーションプログラムのための平衡機能管理システムを提供する。
【解決手段】少なくとも１つ以上のプロセッサ及び前記プロセッサで遂行可能な命令を保存し、コンピューティングデバイスで実行される少なくとも１つの人工神経網モデルを保存したメモリを含み、前記少なくとも１つのプロセッサがｎ（自然数）個のカメラを通して対象者を撮影したｎ個の動画のフレーム画像を少なくとも１つの人工神経網モデルに入力して、第ｍ（１からｎまでの自然数）動画のフレーム画像の順による対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報のうち少なくとも１つを獲得し、前記情報を利用して平衡機能状態情報生成又は平衡機能リハビリテーションプログラム遂行のための頭の動き及び眼球の動きと関連した情報を生成することができる。
【選択図】図１

Description

本発明は、平衡機能状態情報生成及び平衡機能リハビリテーションプログラムのための平衡機能管理システム及び方法に関し、より詳細には、少なくとも１つ以上のカメラを利用して対象者を撮影した動画で対象者の眼球及び頭囲変化を追跡して対象者の平衡機能状態情報を生成し、対象者の平衡機能リハビリテーションのためのプログラムを行う平衡管理システム及び方法、これを実現するためのプログラムが保存された記録媒体及び記録媒体に保存されたコンピュータプログラムに関する。
この部分に記述された内容は、単に本明細書に記載された実施形態に対する背景情報を提供するだけであって、必ずしも従来技術を構成するものではない。
人体は、頭の動きと関係なく視線を固定して平衡を維持する。内耳（ｉｎｎｅｒ ｅａｒ）は、頭の動きを感知し、感知された信号を脳に伝達する。内耳で感知した信号が脳に伝達されれば、脳は眼球の外眼筋を刺激して頭の動きと反対するように目を動かす前庭眼反射を誘発して平衡維持に寄与するようになる。よって、内耳が損傷されるか、内耳によって認知された頭の動きが脳に伝達される信号統合過程に問題が発生するようになれば、前庭眼反射が誘発されないため、人体は均衡維持にならなず、深刻なめまいを感じるようになる。
臨床では、頭の動き対比眼球の動きを評価する検査を通じて平衡機能の異常有無を判断するようになる。臨床では、このために頭の動きの速度を測定する慣性測定（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ、ＩＭＵ）センサー（ジャイロスコープ、加速度計など）と眼球の動きを撮影する眼球追跡ビデオカメラを通して頭の動き対比目の動きの速度を測定して平衡機能の異常を判断する。
一方、平衡機能の異常発生時、序盤には急性めまいが発生するが、前庭系の補償作用によって時間が過ぎるほど徐々にめまいが好転する。めまいの好転は前庭系の補償作用によって発生し、人体はこのような補償作用を通じて損傷された平衡機能、すなわち、内耳の代わりに眼球や筋肉などの固有感覚などを活性化させて症状好転に寄与する。このような前庭補償は、目と頭をた多く動かすほど加速化され、臨床で使用する前庭リハビリテーション治療は、目と頭を動かすようにして前庭補償を活性化させる原理として使用される。
既存の前庭リハビリテーション方法は、治療者が名刺などを使用して患者の視線の動きを誘導し、頭を動かすようにするか、最近、仮想現実機器などを使用して頭と目を動かすようにする方法などがある。しかし、既存の緩和する名刺などを使用するリハビリテーション運動方法は、患者の正確なリハビリテーション運動を保証することができない。また、仮想現実機器を活用するリハビリテーション運動方法は、患者の頭と目の動きを追跡して患者にフィードバックを提供して、より正確にリハビリテーション運動ができるが、仮想現実機器などの追加的な機器が必要であることから実際臨床で制限点がある。
めまい発生時、前庭眼反射を評価する眼振検査は、費用効果的な側面だけでなく診断的敏感度がＭＲＩより優れることが立証されたにも関わらず、検査施行の難しさと解析の困難の問題があり、これを検査するための機器がない。これにより、実際の現場でめまい患者が最も多く訪れる救急救命室や一次病院で眼振検査がよく活用されることができず、不必要な映像検査や血液検査に依存してめまいを診断する場合が多い。これは、費用効果的な側面で医療費用の浪費を誘発し、適切な診断にならないため患者の予後に悪い結果をもたらす場合が多い。特に、急性めまいの症状回復のために、前庭リハビリテーション治療も患者が自ら施行するには困難があり、めまいからの回復が遅れて生活の質の低下を引き起こす。
韓国公開特許公報第１０－２００４－０１０７６７７号
本明細書は、平衡機能状態情報生成及び平衡機能リハビリテーションプログラムのための平衡機能管理システムを提供することを目的とする。
本明細書は、前記言及された課題に制限されず、言及されていないまた他の課題は、下記の記載から通常の技術者に明確に理解されるであろう。
上述した課題を解決するための本明細書による平衡機能管理システムは、少なくとも１つ以上のプロセッサ及び前記プロセッサで遂行可能な命令を保存し、コンピューティングデバイスで実行される少なくとも１つの人工神経網モデルを保存したメモリを含み、前記少なくとも１つのプロセッサがｎ（自然数）個のカメラを通して対象者を撮影したｎ個の動画のフレーム画像を少なくとも１つの人工神経網モデルに入力して、第ｍ（１からｎまでの自然数）動画のフレーム画像の順による対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報のうち少なくとも１つを獲得し、前記情報を利用して平衡機能状態情報生成又は平衡機能リハビリテーションプログラム遂行のための頭の動き及び眼球の動きと関連した情報を生成することができる。
本明細書の一実施形態によれば、前記少なくとも１つ以上のプロセッサはは、前記メモリに保存された第１人工神経網モデルを実行させ、第ｍ動画のフレーム画像又はｎ個の動画のフレーム画像を連結した多重フレーム画像を前記第１人工神経網モデルに入力して、第ｍ動画による頭座標と関連した情報を獲得する頭座標獲得部と、前記メモリに保存された第２人工神経網モデルを実行させ、前記頭座標と関連した情報を前記第２人工神経網モデルに入力して、第ｍ動画による瞳孔中心座標と関連した情報を獲得する眼球座標獲得部と、前記メモリに保存された第３人工神経網モデルを実行させ、前記第ｍ動画のフレーム画像又は多重フレーム画像の時間順による瞳孔座標と関連した情報と関連した情報を前記第３人工神経網モデルに入力して、第ｍ動画による眼球の位相変化と関連した情報を獲得する位相変化獲得部と、を含むことができる。
本明細書の一実施形態によれば、前記第１人工神経網モデルは、前記少なくとも１つのプロセッサによって、人の顔が撮影された少なくとも１つの動画のフレーム画像又は複数個の動画のフレーム画像が連結された多重フレーム画像から抽出された顔の特徴点及び特徴点の座標を学習データとして利用して学習された人工神経網モデルであってよい。
このとき、前記特徴点は、前記フレーム画像又は前記多重フレーム画像で予め設定された領域内に位置した特徴点であってよい。
本明細書の一実施形態によれば、前記第２人工神経網モデルは、前記少なくとも１つのプロセッサによって、人の顔が撮影された少なくとも１つの動画のフレーム画像又は複数個の動画のフレーム画像が連結された多重フレーム画像で眼球が含まれるように抽出された眼球領域画像を学習データとして利用して瞳孔中心の座標と関連した情報を生成するように学習された人工神経網モデルであってよい。
このとき、前記少なくとも１つのプロセッサは、前記眼球領域画像で瞳孔が占める領域と残り領域が互いに異なるピクセル値を持つ瞳孔領域画像を生成し、前記瞳孔領域画像又は瞳孔領域画像のピクセル値の配列を学習データとして利用して、前記第２人工神経網モデルを学習させることができる。
このとき、前記少なくとも１つのプロセッサは、前記眼球領域画像で眼球の特徴点及び特徴点の座標情報を生成し、予め設定された複数個の特徴点の座標を利用して前記瞳孔中心の水平座標値及び垂直座標値を生成するように前記第２人工神経網モデルを学習させることができる。
本明細書の他の実施形態によれば、前記メモリは、少なくとも１つの仮想オブジェクトのデータを保存し、前記第２人工神経網モデルは、前記少なくとも１つのプロセッサによって、仮想オブジェクトの頭回転、眼球回転及びカメラ設定と関連したパラメーターのうち少なくとも１つを変更したパラメーター値及び前記パラメーター値に従って獲得した仮想オブジェクトの画像を含む学習データを利用して、瞳孔中心の座標と関連した情報を生成するように学習された人工神経網モデルであってよい。
本明細書の一実施形態によれば、前記第３人工神経網モデルは、前記少なくとも１つのプロセッサによって、人の顔が撮影された動画のフレーム画像又は複数個の動画のフレーム画像を連結した多重フレーム画像で眼球が含まれるように抽出された眼球領域画像の時間順によって生成された眼球位相変化と関連した情報を学習データとして利用して眼球の回転値を生成するように学習された人工神経網モデルであってよい。
本明細書の一実施形態によれば、前記第３人工神経網モデルは、前記少なくとも１つのプロセッサによって、前記人の顔が撮影された動画の各フレーム画像又は多重フレーム画像でそれぞれの動画のフレーム画像に対応する眼球領域画像の間に虹彩が占める領域のピクセル値を比較した情報を利用して学習された人工神経網モデルであってよい。
このとき、前記少なくとも１つのプロセッサは、前記眼球領域画像で瞳孔が占める領域のサイズを計算し、先立つ眼球領域画像における瞳孔が占める領域のサイズを利用してターゲット眼球領域画像のサイズを調節することができる。
本明細書の一実施形態によれば、前記少なくとも１つ以上のプロセッサは、少なくとも１つの人工神経網モデルで生成された頭座標と関連した情報を利用して、第ｍ（１からｎまでの自然数）動画における頭の動きと関連した情報を生成する頭の動き生成部と、少なくとも１つの人工神経網モデルで生成された瞳孔中心座標又は眼球の位相変化と関連した情報を利用して、第ｍ動画における眼球の動きと関連した情報を生成する眼球の動き生成部と、前記頭の動き及び眼球の動きと関連した情報を利用して、第ｍ動画における頭と眼球の動き速度と関連した情報を生成する速度情報生成部と、頭及び眼球の動き速度と関連した情報を利用して対象者の平衡機能の状態情報を生成する平衡機能状態情報生成部と、を含むことができる。
本明細書の一実施形態によれば、前記速度情報生成部は、頭の動きが予め設定された臨界値以上になる時点を基準に予め設定された時間内における頭の動き速度及び眼球の動き速度と関連した情報を生成することができる。
本明細書の一実施形態によれば、前記平衡機能状態情報生成部は、頭の動き速度が最大になる時間値及び眼球の動き速度が最大になる時間値を利用してゲイン値を計算することができる。
本明細書の一実施形態によれば、ｎが２以上であるとき、前記頭の動き生成部は、第ｍ動画による頭座標と関連した情報の統計値を算出して基準頭の動き情報をさらに生成し、前記眼球の動き生成部は、第ｍ動画による瞳孔中心座標及び眼球の位相変化と関連した情報の統計値を算出して基準眼球の動き情報をさらに生成することができる。
本明細書の他の実施形態によれば、前記少なくとも１つ以上のプロセッサは、少なくとも１つの人工神経網モデルから獲得した頭座標と関連した情報を利用して、第ｍ（１からｎまでの自然数）動画における頭の動き情報を生成する頭の動き生成部と、少なくとも１つの人工神経網モデルから獲得した瞳孔中心座標又は眼球の位相変化と関連した情報を利用して、第ｍ動画における眼球の動き情報を生成する眼球の動き生成部と、ディスプレイ装置に仮想のターゲットを出力するターゲット出力部と、対象者に頭の動きに対する方向情報を提供する頭方向提供部と、前記対象者の頭の動き及び眼球の動きによってフィードバックを提供するフィードバック提供部と、を含むことができる。
上述した課題を解決するための本明細書による平衡機能状態情報生成方法は、少なくとも１つ以上のプロセッサ及び前記プロセッサで遂行可能な命令を保存し、コンピューティングデバイスで実行される少なくとも１つの人工神経網モデルを保存したメモリを含む平衡機能管理システムにおいて、前記少なくとも１つのプロセッサがｎ（自然数）個のカメラを通して対象者を撮影したｎ個の動画のフレーム画像を少なくとも１つの人工神経網モデルに入力して、第ｍ（１からｎまでの自然数）動画のフレーム画像の順による対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を獲得する情報獲得ステップと、前記少なくとも１つのプロセッサが前記情報獲得ステップで生成された情報を利用して頭の動き情報及び眼球の動き情報を生成し、頭の動き速度及び眼球の動き速度を算出し、前記頭の動き速度及び眼球の動き速度と関連した情報を利用して平衡機能の状態と関連した情報を生成する平衡機能状態情報生成ステップと、を含むことができる。
上述した課題を解決するための本明細書による平衡機能リハビリテーション方法は、少なくとも１つ以上のプロセッサ及び前記プロセッサで遂行可能な命令を保存し、コンピューティングデバイスで実行される少なくとも１つの人工神経網モデルを保存したメモリを含む平衡機能管理システムにおいて、前記少なくとも１つのプロセッサがｎ（自然数）個のカメラを通して対象者を撮影したｎ個の動画のフレーム画像を少なくとも１つの人工神経網モデルに入力して、第ｍ（１からｎまでの自然数）動画のフレーム順による対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を獲得する情報獲得ステップと、前記少なくとも１つのプロセッサが前記情報獲得ステップで生成された情報を利用して頭の動き情報及び眼球の動き情報を生成し、対象者の頭及び眼球の動きを追跡して平衡機能リハビリテーションプログラムを行う平衡機能リハビリテーションステップと、を含むことができる。
本明細書による平衡機能状態情報生成方法は、コンピュータで各ステップを行うように作成され、コンピュータで読み出し可能な記録媒体に記録されたコンピュータプログラムの形態で実現されることができる。
本明細書による平衡機能リハビリテーション方法は、コンピュータで各ステップを行うように作成され、コンピュータで読み出し可能な記録媒体に記録されたコンピュータプログラムの形態で実現されることができる。
本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。
本明細書の一側面によれば、平衡機能管理システムは、スマートフォン、ウェブカムなどを利用して平衡機能状態検査を行う対象者を撮影した動画を人工神経網モデルに入力して、別途の医療装備なしに眼球の動きと頭の動きを計算し、平衡機能状態情報を生成することができる。
本明細書の他の側面によれば、平衡機能管理システムは、前記平衡機能状態情報を生成するめまい患者の臨床意思決定支援システムとして活用されることができる。
本明細書のまた他の側面によれば、平衡機能管理システムは、救急救命室環境で別途の医療装置を使用するか、患者が別途の装備を着用せずに速やかに単一のスマートフォンだけで末梢性と中枢性めまいを区分するのに重要な情報を提供することができる。
本明細書のまた他の側面によれば、平衡機能管理システムは、対象者の頭囲変化と眼球の動きの移動情報をディスプレイ装置に出力してより正確な平衡リハビリテーションが可能であるようにリモート平衡機能リハビリテーションプログラムを提供することができる。
本発明の効果は、以上で言及された効果に制限されず、言及されていないまた他の効果は、下記の記載から通常の技術者にとって明確に理解されるであろう。
少なくとも１つのカメラで対象者を撮影する場面を図示した参考図である。 端末機に含まれたカメラで対象者を撮影する場面を図示した参考図である。 本明細書の第１実施形態に係る平衡機能管理システムのブロック図である。 本明細書の一実施形態に係る平衡機能状態を検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影した場面に対する例示である。 本明細書の他の実施形態に係る平衡機能状態を検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影した場面に対する例示である。 本明細書の一実施形態に係る眼球領域画像を前処理する例示を図示した図面である。 本明細書の他の実施形態に係る第２人工神経網モデルの学習データを生成する例示を図示した図面である。 本明細書の一実施形態に係る平衡機能状態情報を生成するための平衡機能管理システムのブロック図である。 本明細書の一実施形態に係る平衡機能状態情報をディスプレイに出力した例示である。 本明細書の一実施形態に係る平衡機能リハビリテーションプログラムを行うための平衡機能管理システムのブロック図である。 本明細書の一実施形態に係る平衡機能リハビリテーションプログラムを行う場面の例示を図示した図面である。 本明細書の一実施形態に係る平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行う平衡機能管理システムのブロック図である。 本明細書の第２実施形態に係る平衡機能管理システムのブロック図である。 本明細書の一実施形態に係る頭座標学習部がフレーム画像を連結する例示を図示した参考図である。 本明細書の一実施形態に係る平衡機能状態を検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影した場面の多重フレーム画像に対する例示である。 本明細書の一実施形態に係る平衡機能状態を検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影した場面の多重フレーム画像に対する例示である。 本明細書の一実施形態に係る眼球領域画像を前処理する例示を図示した図面である。 本明細書の一実施形態に係る平衡機能状態情報を生成するための平衡機能管理システムのブロック図である。 本明細書の一実施形態に係る平衡機能リハビリテーションプログラムを行うための平衡機能管理システムのブロック図である。 本明細書の一実施形態に係る平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行う平衡機能管理システムのブロック図である。 本明細書の一実施形態に係る平衡機能状態情報生成方法のフローチャートである。 本明細書の一実施形態に係る平衡機能リハビリテーション方法のフローチャートである。
本明細書に開示された発明の利点及び特徴、また、それらを達成する方法は、添付の図面とともに詳細に後述されている実施形態を参照すれば明確になる。しかし、本明細書が以下で開示される実施形態に制限されるものではなく、互いに異なる様々な形態で実現されることができ、単に、本実施形態は、本明細書の開示を完全にさせ、本明細書の属する技術分野における通常の技術者（以下、「当業者」）に本明細書の範疇を完全に知らせるために提供されるものであり、本明細書の権利範囲は、請求項の範疇によって定義されるだけである。
本明細書において使用された用語は、実施形態を説明するためのものであり、本明細書の権利範囲を制限しようとするものではない。本明細書において、単数形は文句で特に言及しない限り複数形も含む。明細書で使用される「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。
明細書全体に亘って同一の図面符号は同一の構成要素を称し、「及び／又は」は、言及された構成要素のそれぞれ及び１つ以上のすべての組み合わせを含む。たとえ、「第１」、「第２」などが様々な構成要素を述べるために使用されるとしても、これらの構成要素はこれらの用語により制限されないことはもちろんである。これらの用語は単に１つの構成要素を他の構成要素と区別するために使用するものである。よって、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素である場合もあることはもちろんである。
他の定義がなければ、本明細書において使用されるすべての用語（技術及び科学的用語を含む）は、本明細書の属する技術分野における通常の技術者に共通的に理解できる意味として使用される。また、一般的に使用される辞書に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解析されない。
人工神経網（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＡＮＮ）は、人間の脳を構成しているニューロンを数学的にモデリングした人工ニューロンを互いに連結して人工知能を実現したものである。
本明細書において、「人工神経網モデル」とは、一般的にノードと称され得る相互連結された計算単位の集合で構成されることができる。このようなノードは、ニューロン（ｎｅｕｒｏｎ）とも称され得る。神経網は、少なくとも１つ以上のノードを含んで構成される。神経網を構成するノード（又はニューロン）は、１つ以上のリンクによって相互連結され得る。
神経網内で、リンクを介して連結された１つ以上のノードは、相対的に入力ノード及び出力ノードの関係を形成することができる。入力ノード及び出力ノードの概念は相対的なものであって、１つのノードに対して出力ノード関係にある任意のノードは他のノードとの関係で入力ノード関係にあることができ、その逆も成立されることができる。上述したように、入力ノード対出力ノード関係は、リンクを中心に生成されることができる。１つの入力ノードに１つ以上の出力ノードがリンクを介して連結されることができ、その逆も成立されることができる。
最初入力ノードは、神経網内のノードのうち他のノードとの関係でリンクを経ずにデータが直接入力される１つ以上のノードを意味することができる。又は、神経網ネットワーク内で、リンクを基準にしたノード間の関係において、リンクで連結された他の入力ノードを持たないノードを意味することができる。これと類似するように、最終出力ノードは神経網内のノードのうち他のノードとの関係で、出力ノードを持たない１つ以上のノードを意味することができる。また、ヒドゥンノードは、最初入力ノード及び最後出力ノードではなく神経網を構成するノードを意味することができる。
本明細書において、データを人工神経網モデルに「入力」することは、前記最初入力ノードにある値が入力されることを意味する。本明細書において、人工神経網から「値の獲得」、「データ出力」、「情報の獲得」などは、前記最後出力ノードからあるデータが出力されることを意味する。
ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、深層神経網）は、入力レイヤーと出力レイヤーの以外に複数のヒドゥンレイヤーを含む神経網を意味することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、回帰型ニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、オートエンコーダ（ａｕｔｏ ｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、制限ボルツマンマシン（ＲＢＭ：ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ）、深層信念ネットワーク（ＤＢＮ：ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、Ｑネットワーク、Ｕネットワーク、シャムネットワーク、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などを含むことができる。前述のディープニューラルネットワークの記載は例示であるだけで、本開示はこれに制限されない。
ニューラルネットワークは、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、又は強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）のうち少なくとも１つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を行うための知識をニューラルネットワークに適用する過程であってよい。
ニューラルネットワークは、出力のエラーを最小化する方向に学習されることができる。ニューラルネットワークの学習で繰り返し学習データをニューラルネットワークに入力させ、学習データに対するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向にニューラルネットワークのエラーをニューラルネットワークの出力レイヤーから入力レイヤー方向に逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）してニューラルネットワークの各ノードの加重値をアップデートする過程である。教師あり学習の場合、それぞれの学習データに正解がラベリングされている学習データを使用し（すなわち、ラベリングされた学習データ）、教師なし学習の場合は、それぞれの学習データに正解がラベリングされていない可能性がある。すなわち、例えば、データ分類に関する教師あり学習の場合の学習データは、学習データそれぞれにカテゴリーがラベリングされたデータであってよい。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力（カテゴリー）と学習データのラベルとを比較することでエラー（ｅｒｒｏｒ）が計算されることができる。他の例として、データ分類に関する教師なし学習の場合、入力である学習データがニューラルネットワーク出力と比較されることでエラーが計算されることができる。計算されたエラーは、ニューラルネットワークで逆方向（すなわち、出力レイヤーから入力レイヤー方向）に逆伝播され、逆伝播によってニューラルネットワークの各レイヤーの各ノードの連結加重値がアップデートされることができる。アップデートされる各ノードの連結加重値は、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）によって変化量が決定されることができる。入力データに対するニューラルネットワークの計算とエラーの逆伝播は、学習サイクル（ｅｐｏｃｈ）を構成することができる。学習率は、ニューラルネットワークの学習サイクルの繰り返し回数によって異なって適用されることができる。例えば、ニューラルネットワークの学習初期には、高い学習率を使用してニューラルネットワークが早く一定の水準の性能を確保するようにして効率性を高め、学習後期には、低い学習率を使用して正確度を高めることができる。
本明細書において、人工神経網モデルの「学習」とは、前記ニューラルネットワークは出力のエラーが最小化されるように各ノードの連結加重値をアップデートすることを意味し、特定学習方法によって本明細書による「学習」が制限されない。
本明細書において、「プロセッサ」は１つ以上のコアで構成されることができ、コンピューティング装置の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、汎用グラフィック処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、テンソル処理装置（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）などのデータ分析、ディープラーニングのためのプロセッサを含むことができる。プロセッサは、メモリに保存されたコンピュータプログラムを読み取り、本明細書の一実施形態に係る機械学習のためのデータ処理を行うことができる。本明細書の一実施形態によってプロセッサは神経網の学習のための演算を行うことができる。プロセッサは、ディープラーニング（ＤＬ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）で学習のための入力データの処理、入力データにおける特徴抽出、誤差計算、逆伝播（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を利用した神経網の加重値アップデートなどの神経網の学習のための計算を行うことができる。プロセッサのＣＰＵ、ＧＰＧＰＵ、及びＴＰＵのうち少なくとも１つがネットワーク関数の学習を処理することができる。例えば、ＣＰＵとＧＰＧＰＵが一緒にネットワーク関数の学習、ネットワーク関数を利用したデータ分類を処理することができる。また、本明細書の一実施形態において、複数のコンピューティング装置のプロセッサを一緒に使用してネットワーク関数の学習、ネットワーク関数を利用したデータ分類を処理することができる。また、本明細書の一実施形態に係るコンピューティング装置で行われるコンピュータプログラムは、ＣＰＵ、ＧＰＧＰＵ又はＴＰＵ実行可能プログラムであってよい。
以下、添付の図面を参照して本発明の実施形態を詳細に説明する。
図１は、少なくとも１つのカメラで対象者を撮影する場面を図示した参考図である。
図１を参照すれば、本明細書の一実施形態に係る平衡機能管理システムは、ｎ（自然数）個のカメラを通して対象者を撮影したｎ個の動画を利用して対象者の頭の動き及び眼球の動き情報を生成することができる。
前記ｎ個のカメラは、予め設定された位置に設置されて対象者の顔を撮影することができる。前記ｎ個のカメラは、互いに異なる角度で対象者を撮影することができる。
一例として、１個のカメラが対象者の正面に設置されて対象者の顔を撮影することができる。対象者の正面は、体の前面が向かう方向を意味することができる。
他の例として、２個のカメラが予め設定された位置に設置されて対象者の顔を撮影することができる。このとき、２個のカメラのうち1台は対象者の正面の左側で対象者の顔を撮影し、残りの１台のカメラは対象者の正面の右側で対象者の顔を撮影することができる。
また他の例として、３個のカメラが予め設定された位置に設置されて対象者の顔を撮影することができる。このとき、３個のカメラのうち一台は対象者の正面に設置され、他の一台は対象者の正面の左側に設置され、また他の一台は対象者の正面の右側に設置されて対象者の顔を撮影することができる。
前記カメラの個数及び位置は一例に該当し、これに制限されず、カメラの個数、位置、対象者との距離などによってｎ個のカメラが様々な方向及び距離で対象者を撮影することができる。
前記平衡機能管理システムは、前記ｎ個のカメラから対象者を撮影した動画データを入力されることができる。前記平衡機能管理システムは、入力された動画データをディスプレイ装置に示すことができる。前記平衡機能管理システムは、第ｍ（１からｎまでの自然数）カメラが対象者を撮影した第ｍ動画をディスプレイ装置にそれぞれ示すことができる。以下において、第ｍ動画は、第１動画から第ｎ動画までのすべての動画を意味することができる。
前記平衡機能管理システムは、入力されたｎ個の動画を利用して対象者の頭及び眼球の動きと関連した情報を生成することができる。前記平衡機能管理システムは、頭及び眼球の動きと関連した情報をディスプレイ装置に示すことができる。また、前記平衡機能管理システムは、頭及び眼球の動きと関連した情報を利用して頭及び眼球の動き速度と関連した情報を生成し、ディスプレイ装置に示すことができる。
図１のディスプレイ装置に示される画面は一例に該当し、前記画面により制限されない。
図２は、端末機に含まれたカメラで対象者を撮影する場面を図示した参考図である。
図２を参照すれば、本明細書の他の実施形態によれば、前記平衡管理システムは、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、タブレットコンピュータ（Ｔａｂｌｅｔ Ｃｏｍｐｕｔｅｒ）などの端末機の前面カメラ（図２の左側）及び／又は後面カメラ（図２の右側）を通して撮影された動画を利用して頭及び眼球の動きと関連した情報を生成することができる。前記端末機の後面カメラを利用して対象者を撮影するとき、前記平衡管理システムは、前記端末機の後面に含まれた少なくとも１つ以上のカメラで撮影された映像をディスプレイ装置にそれぞれ示すことができる。前記平衡管理システムは、前記端末機の後面に含まれた少なくとも１つ以上のカメラで撮影されたそれぞれの動画で対象者の頭及び眼球の動きと関連した情報を生成することができる。
前記端末機の前面カメラ及び／又は後面カメラで撮影された映像は、端末機のディスプレイ及び／又は前記端末機と連結されたディスプレイ装置に示されることができる。
図２に図示された端末機の前面カメラ及び／又は後面カメラの個数、位置、端末機の方向は一例に該当し、これに制限されない。また、対象者を撮影する少なくとも１つのカメラがさらに設置されることができる。
本明細書による平衡機能管理システムは、コンピュータ（Ｃｏｍｐｕｔｅｒ）、ラップトップ（Ｌａｐｔｏｐ）、スマートフォン及び／又はタブレットコンピュータなどのコンピューティングデバイス（Ｃｏｍｐｕｔｉｎｇ Ｄｅｖｉｃｅ）の形態で実現されることができ、これは一例に該当し、前記デバイスにより制限されない。
対象者は、コンピューティングデバイスに含まれたカメラ及び／又はコンピューティングデバイスと有線及び／又は無線で連結されるカメラを通して撮影されることができる。前記カメラは、ウェブカム、アクションカメラなど様々な種類のカメラが使用されることができ、これは一例に該当し、前記カメラにより制限されない。
前記平衡機能管理システムは、ビデオ頭部衝動検査（Ｖｉｄｅｏ Ｈｅａｄ Ｉｍｐｕｌｓｅ Ｔｅｓｔ）、自発眼振検査（Ｓｐｏｎｔａｎｅｏｕｓ Ｎｙｓｔａｇｍｕｓ）、断続性運動検査（Ｓａｃｃａｄｅ Ｔｅｓｔ）などを行う対象者を撮影したｎ個の動画を利用して対象者の平衡機能状態と関連した情報を生成することができ、これは一例に該当し、前記検査により制限されない。
以下においては、本明細書の第１実施形態に係る平衡機能管理システムについて説明する。本明細書の第１実施形態によれば、平衡機能管理システムは少なくとも１つのカメラを利用して対象者を撮影した少なくとも１つの動画を利用して対象者の頭及び眼球の動き情報を生成して、平衡機能状態情報生成及び／又は平衡機能リハビリテーションプログラムを行うことができる。
本明細書の第１実施形態に係る平衡機能管理システムは、少なくとも１つ以上のプロセッサ及び前記プロセッサで遂行可能な命令を保存し、コンピューティングデバイスで実行される少なくとも１つの人工神経網モデルを保存したメモリを含むことができる。
前記平衡機能管理システムは、前記少なくとも１つのプロセッサがｎ個のカメラを通して対象者を撮影したｎ個の動画フレームの画像を少なくとも１つの人工神経網モデルに入力してフレーム画像（Ｆｒａｍｅ Ｉｍａｇｅ）の順による対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報のうち少なくとも１つを獲得することができる。前記少なくとも１つのプロセッサは、前記情報を利用して頭の動き情報及び眼球の動き情報を生成することができる。
図３は、本明細書の第１実施形態に係る平衡機能管理システムのブロック図である。
図３を参照すれば、本明細書の第１実施形態に係る平衡機能管理システム１０は、メモリ１００、頭座標学習部１１０、眼球座標学習部１２０、及び眼球回転学習部１３０、頭座標獲得部１４０、眼球座標獲得部１５０、及び位相変化獲得部１６０を含むことができる。
前記メモリ１００は、頭座標と関連した情報を生成する第１人工神経網モデル、瞳孔中心座標と関連した情報を獲得する第２人工神経網モデル及び眼球の位相変化と関連した情報を獲得する第３人工神経網モデルのうち少なくとも１つを保存することができる。
本明細書の一実施形態によれば、前記第１人工神経網モデルは、前記頭座標学習部１１０によって、人の顔が撮影された少なくとも１つの動画のフレーム画像から抽出された顔の特徴点（Ｆｅａｔｕｒｅ Ｐｏｉｎｔ）及び特徴点の座標を学習データとして利用して学習されることができる。
前記頭座標学習部１１０は、人の顔が撮影された少なくとも１つの動画を利用して、前記第１人工神経網モデルを学習させることができる。前記人の顔が撮影された少なくとも１つの動画は、撮影された人が頭を回転する姿を撮影した動画であってよい。
一例として、前記人の顔が撮影された動画は、１つのカメラで撮影されることができる。前記人の顔が撮影された動画は、人の顔全体画像が含まれることができる。前記人の顔が撮影された動画は、撮影された人の顔が正面に向かう状態で頭を左右に動かす場面が撮影された映像であってよい。また、前記人の顔が撮影された動画は、撮影された人の顔が正面に向かう状態で頭を上下に動かす場面が撮影された映像であってよい。人の顔が正面に向かう状態は、人の視線方向と体の前面方向が一致する状態であってよい。
また、前記人の顔の撮影された動画は、撮影された人が頭を右に回した後に頭を上下に動かす場面が撮影された映像であってよい。また、前記人の顔が撮影された動画は、撮影された人が頭を左側に回した後に上下に動かす場面が撮影された映像であってよい。
また、前記人の顔が撮影された動画は、撮影された人が特定注視点を見つめた状態で頭を回転する場面が撮影された映像であってよい。
人の顔が撮影された動画は、人の正面に設置されたカメラによって撮影されることができる。又は、人の顔が撮影された動画は、人の正面の左側、右側、左上側、右上側など様々な位置で様々な角度で設置されたカメラによって撮影されることができる。
また、前記人の顔が撮影された動画は、複数個のカメラを通して撮影されることができる。前記複数個のカメラは、様々な位置及び角度で設置されて人を撮影することができる。複数個のカメラを通して撮影された動画は、同じ状況を複数個のカメラで撮影した動画を意味することができる。
前記人の顔が撮影された動画は、カメラの仕様がすべて同じカメラで撮影されることができる。また、前記人の顔が撮影された動画は、互いに異なる仕様を持つカメラで撮影された動画であってよい。また、前記人の顔が撮影された動画は、互いに異なる設定値を持つカメラで撮影された動画であってよい。
以上で説明された人が撮影された動画は一例に該当し、人の頭及び眼球が撮影された動画又は人の頭が撮影されたすべての動画が利用されることができる。また、特定カメラ仕様、設定などにより制限されない。
好ましくは、前記人が撮影された動画は、同じ設定値を持つカメラで撮影された動画であってよい。
前記頭座標学習部１１０は、前記人の顔が撮影された動画の各フレーム画像から人の顔に対する特徴点を抽出することができる。一例として、前記頭座標学習部１１０は、前記各フレーム画像から人の顔に位置した特徴点を抽出することができる。一例として、前記特徴点は、人の鼻先、左側外眼角（左側目元で最も外側まぶたが会う箇所）、右側外眼角（右側目元で最も外側の部分まぶたが会う箇所）及び額に対する特徴点を含むことができる。前記特徴点は、人が目を瞬いても位置が変化しないことがある。前記特徴点は一例に該当し、前記特徴点により制限されず、従来の顔認識のために使用される特徴点がさらに含まれることができる。人の頭で特徴点及び特徴点座標を生成する技術は、当業者の間で広く知られている技術であるので、詳しい説明は省略する。
前記頭座標学習部１１０は、前記各フレーム画像から抽出した特徴点の座標情報を生成することができる。前記頭座標学習部１１０は、前記各フレーム画像から抽出した特徴点及び特徴点の座標を学習データとして利用して、各フレーム画像に対する３次元頭座標を生成するように第１人工神経網モデルを学習させることができる。前記３次元頭座標は、３次元標準頭モデルによる頭の３次元座標を意味することができる。前記頭の３次元座標は、頭のすべての特徴点に対する座標を含むことができる。頭の３次元座標は、各特徴点に対する索引番号と関連した内容を含むことができる。このとき、前記頭座標学習部１１０は、鼻先の特徴点を基準に索引番号を生成するように前記第１人工神経網モデルを学習させることができる。また、前記頭座標学習部１１０は、各フレーム画像から抽出された３次元座標を利用して、頭の動き情報をさらに生成するように学習させることもできる。
また、前記頭座標学習部１１０は、特徴点が抽出されたフレーム画像、３ＤＭＭ（３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ）、ＦＬＡＭＥ（Ｆａｃｅｓ Ｌｅａｒｎｅｄ ｗｉｔｈ ａｎ Ａｒｔｉｃｕｌａｔｅｄ Ｍｏｄｅｌ ａｎｄ Ｅｘｐｒｅｓｓｉｏｎｓ）モデルなどの３次元標準頭モデルに対するデータを学習データとしてさらに利用して前記第１人工神経網モデルを学習させることができ、これは一例に該当し、前記学習データにより制限されず、様々な学習データがさらに利用されることができる。
本明細書の一実施形態によれば、前記頭座標学習部１１０は、複数個のカメラを利用して人を撮影した複数個の動画から特徴点を抽出するとき、前記複数個の動画のシンク（ｓｙｎｃ）を調節した以後に特徴点を抽出することができる。前記頭座標学習部１１０は、前記複数個の動画の特定オーディオ信号、特徴点マッチング基盤同期化などのアルゴリズムを利用して複数個の動画のシンクを調節することができ、これは一例に該当し、これに制限されず、当業者の間で広く知られている様々な技術が利用されることができる。
本明細書の一実施形態によれば、前記頭座標学習部１１０は、予め設定された基準による座標値を持つ特徴点を学習データとして利用することができる。前記頭座標学習部１１０は、予め設定された基準による座標値を持つ特徴点を学習データとして選別することができる。
図４は、本明細書の一実施形態に係る平衡機能状態を検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影した場面に対する例示である。
図４を参照すれば、人が撮影された動画は、前記平衡機能管理システム１０を利用して平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムを行う動画であってよい。前記動画は、対象者２００のみ撮影された動画であってよい。また、前記動画は、対象者２００及び検査者２０１が撮影された動画であってよい。以下において、人が撮影された動画は、平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムを行う動画を意味すると記載する。しかし、これは一例に該当し、前記動画により制限されない。
平衡機能状態検査を実施するとき、対象者２００は椅子に座っている状態であり、検査者２０１は対象者の後ろに立っている状態であってよい。検査者２０１は医療専門家を意味することができる。前記平衡機能管理システム１０は、対象者２００の頭の動きによる眼球の動きを分析して対象者の平衡機能の異常有無を判断し、リハビリテーションプログラムを進めるために対象者２００の頭の動き及び眼球の動きだけ分析することができる。
前記頭座標学習部１１０は、前記動画から対象者２００の顔に対する特徴点及び特徴点の座標を抽出して、前記第１人工神経網モデルを学習させることができる。
以上で説明したように、対象者２００は椅子に座っており、検査者２０１は立っている状態であるので、対象者２００の顔から抽出された特徴点は、検査者２０１の顔から抽出された特徴点より相対的に下に位置することができる。これは、対象者２００の顔から抽出された特徴点のｙ座標値が検査者２０１の顔から抽出された特徴点のｙ座標値より相対的に小さいことを意味することができる。
前記頭座標学習部１１０は、対象者２００及び検査者２０１の顔から抽出された同じ部分の特徴点のうち相対的にｙ座標値が小さな特徴点を学習データとして抽出することができる。前記頭座標学習部１１０は、予め設定されたｙ座標値の下の領域に位置した特徴点を学習データとして抽出することができる。
また、前記頭座標学習部１１０は、対象者２００及び検査者２０１の顔から抽出された特徴点をクラスタリングすることができる。以後に、前記頭座標学習部１１０は、相対的に下に位置する特徴点の集合を学習データとして抽出することができる。
図５は、本明細書の他の実施形態に係る平衡機能状態を検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影した場面に対する例示である。
図５を参照すれば、前記動画で対象者２００’及び検査者２０１’がみんな立っている状態で平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムが行われることができる。この場合、対象者２００’の顔から抽出された特徴点は、検査者２０１’の顔から抽出された特徴点より相対的にディスプレイ画面の中心に近いことができる。前記頭座標学習部１１０は、ディスプレイ画面の中心点に対する座標値と相対的にさらに近い座標値を持つ特徴点を学習データとして抽出することができる。
また他の例として、対象者は、検査者よりカメラまでの実際距離が相対的にさらに近いことができる。これにより、前記動画で対象者の顔が検査者の顔より相対的にさらに広い領域を占めることができる。前記頭座標学習部１１０は、対象者の顔から抽出された特徴点の集合及び検査者の顔から抽出された特徴点の集合のうち相対的にさらに広い領域に分散された特徴点の集合を学習データとして抽出することができる。
以上で説明した頭座標学習部１１０が対象者の顔から抽出された特徴点のみ学習データとして抽出する過程は一例に該当し、これに制限されず、対象者の位置、検査者の位置、カメラの位置、角度などによって様々な基準が設定されることができる。また、対象者と検査者の顔の位置だけでなく、対象者と検査者を区別するためのマーカーなどを通じて対象者の顔から抽出された特徴点のみを学習データとして抽出することができる。よって、平衡機能状態検査及び／又はリハビリテーション検査プログラムを行う様々な状況に応じて様々な実施形態が生じることができる。
前記動画で対象者が頭を速く回転する場合、フレーム画像に対象者の顔が明確に撮影されない可能性がある。この場合、前記頭座標学習部１１０は、対象者の顔から特徴点を抽出することができない可能性がある。前記頭座標学習部１１０は、検査者の顔から抽出された特徴点を利用して前記第１人工神経網モデルを学習させ、前記第１人工神経網モデルが不正確な結果を算出することができる。
本明細書の一実施形態によれば、前記頭座標学習部１１０は、任意のフレーム画像より先立つフレーム画像から抽出された特徴点の座標を追跡することができる。以上で説明したように、任意のフレーム画像で対象者の顔から特徴点を抽出することができない場合、前記頭座標学習部１１０は、先立つフレーム画像における対象者の画像を利用して学習データを抽出することができる。前記先立つフレーム画像は、任意のフレーム画像より先立つフレーム画像のうち対象者の顔から特徴点を抽出することができる最も近いフレーム画像を意味することができる。
本明細書の一実施形態によれば、前記第２人工神経網モデルは、前記眼球座標学習部１２０によって、人の顔が撮影された動画フレーム画像で眼球が含まれた領域の画像である眼球領域画像を学習データとして利用して瞳孔中心の座標と関連した情報を生成するように学習されることができる。
前記眼球座標学習部１２０は、前記動画から対象者の眼球が含まれた領域の画像である対象者の眼球領域画像を抽出することができる。前記眼球座標学習部１２０は、各フレーム画像から抽出された対象者の眼球領域画像を学習データにして、前記第２人工神経網モデルが瞳孔中心の座標と関連した情報を生成するように学習させることができる。
図６は、本明細書の一実施形態に係る眼球領域画像を前処理する例示を図示した図面である。
図６を参照すれば、前記眼球座標学習部１２０は、各フレーム画像２０２に従って眼球領域画像２０３を抽出することができる。前記眼球座標学習部１２０は、各フレーム画像２０２で眼球領域のバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）内部の画像を眼球領域画像２０３として抽出することができる。前記眼球座標学習部１２０は、前記眼球領域画像２０３で虹彩と瞳孔領域を分割することができる。人の顔から眼球領域を抽出し、虹彩と瞳孔領域を分割する技術は、当業者の間で広く知られている技術であるので、詳しい説明は省略する。
前記眼球座標学習部１２０は、まぶたによって虹彩及び／又は瞳孔が隠れた部分に対する領域を推定することができる。図６に図示されたように、虹彩の一部が上まぶた及び下まぶたによって隠れることができる。前記眼球座標学習部１２０は、楕円フィッティング（Ｅｌｌｉｐｓｅ Ｆｉｔｔｉｎｇ）、ハフ変換（Ｃｉｒｃｌｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）アルゴリズムなどを利用して隠れた部分を推定することができる。又は、前記眼球座標学習部１２０は、虹彩及び瞳孔領域を分割するように予め学習された人工神経網モデルを利用して虹彩及び瞳孔領域を分割することができる。これは一例に該当し、前記方式により制限されない。
前記眼球座標学習部１２０は、前記眼球領域画像２０３で虹彩及び／又は瞳孔領域が分割されたデータを利用して、前記第２人工神経網モデルを学習させることができる。一例として、前記眼球座標学習部１２０は、前記眼球領域画像２０３で虹彩及び／又は瞳孔領域を分割してマスク画像（Ｍａｓｋ Ｉｍａｇｅ、２０４）を生成することができる。前記眼球座標学習部１２０は、前記眼球領域画像２０３で虹彩及び／又は瞳孔が占める領域と残り領域が互いに異なるピクセル値を持つマスク画像を生成することができる。前記マスク画像は、虹彩及び／又は瞳孔が占める領域が白色又は黒色で示されることができ、残り領域は黒色又は白色で示されることができ、これは一例に該当し、これに制限されない。
前記眼球座標学習部１２０は、前記マスク画像２０４を学習データにして、前記第２人工神経網モデルが瞳孔中心の座標と関連した情報を生成するように学習させることができる。又は、前記眼球座標学習部１２０は、前記マスク画像２０４の２次元ピクセル値を学習データにして、前記第２人工神経網モデルを学習させることができる。又は前記眼球座標学習部１２０は、前記マスク画像２０４及び２次元ピクセル値を学習データにして、前記第２人工神経網モデルを学習させることができる。
他の例として、前記眼球座標学習部１２０は、前記眼球領域画像２０３で虹彩及び／又は瞳孔領域を分割して示したヒートマップ（Ｈｅａｔｍａｐ）モデルを利用して、前記第２人工神経網モデルを学習させることができる。
前記眼球座標学習部１２０は、前記マスク画像及びヒートマップモデルのうち少なくとも１つを利用して、前記第２人工神経網モデルを学習させることができる。
本明細書の一実施形態によれば、前記眼球座標学習部１２０は、前記眼球領域画像２０３で眼球の特徴点及び特徴点の座標情報を生成し、予め設定された複数個の特徴点の座標を利用して前記瞳孔中心の水平座標値及び垂直座標値を生成するように前記第２人工神経網モデルを学習させることができる。前記眼球座標学習部１２０は、前記眼球領域画像２０３から抽出された複数個の特徴点の座標を利用して、正規化（Ｎｏｒｍａｌｉｚｅｄ）された瞳孔中心座標を抽出することができる。
前記複数個の特徴点座標は、眼球領域画像２０３でｙ軸座標が予め設定された範囲内にある特徴点のうちからｘ軸座標値が相対的に最も小さな特徴点、ｘ軸座標値が相対的に最も大きい特徴点を含むことができる。
前記複数個の特徴点座標は、人の正面で撮影された眼球領域画像２０３でｘ軸座標が予め設定された範囲内にある特徴点のうちからｙ軸座標値が相対的に最も小さな特徴点及びｙ軸座標値が相対的に最も大きい特徴点を含むことができる。
一例として、前記眼球座標学習部１２０は、前記眼球領域画像２０３から抽出された特徴点のうち内眼角に対する特徴点２０３－１及び外眼角に対する特徴点２０３－２を利用して、正規化された瞳孔中心の水平座標を抽出することができる。前記眼球座標学習部１２０は、内眼角に対する特徴点２０３－１及び外眼角に対する特徴点２０３－２を連結した線分を瞳孔中心座標に対する水平軸として利用することができる。内眼角に対する特徴点２０３－１のｘ座標と外眼角に対する特徴点２０３－２のｘ座標は、水平軸の両極値に該当することができる。内眼角に対する特徴点２０３－１のｘ座標と外眼角に対する特徴点２０３－２のｘ座標との差は、水平軸全体の長さを意味することができる。前記眼球座標学習部１２０は、前記水平軸全体の長さ対比瞳孔中心の水平座標値を利用して、正規化された瞳孔中心の水平座標を算出することができる。
また、前記眼球座標学習部１２０は、前記眼球領域画像２０３から抽出された特徴点のうち上眼瞼及び下眼瞼と関連した特徴点を利用して、正規化された瞳孔中心の垂直座標を抽出することができる。このとき、上眼瞼と関連した特徴点は、眼球から抽出された特徴点のうち相対的にｙ軸座標が最も大きい特徴点２０３－３が利用されることができる。以下において、前記特徴点２０３－３を上眼瞼特徴点と称する。
下眼瞼と関連した特徴点は、眼球から抽出された特徴点のうち相対的にｙ軸座標が最も小さな特徴点２０３－４が利用されることができる。以下において、前記特徴点２０３－４を下眼瞼特徴点と称する。
前記眼球座標学習部１２０は、前記上眼瞼特徴点２０３－３及び下眼瞼特徴点２０３－４を連結した線分を瞳孔中心座標に対する垂直軸として利用することができる。上眼瞼特徴点２０３－３のｙ座標と下眼瞼特徴点２０３－４のｙ座標は、垂直軸の両極値に該当することができる。上眼瞼特徴点２０３－３のｙ座標と下眼瞼特徴点２０３－４のｙ座標との差は、垂直軸全体の長さを意味することができる。前記眼球座標学習部１２０は、前記垂直軸全体の長さ対比瞳孔中心の垂直座標値を利用して、正規化された瞳孔中心の水平座標を算出することができる。これは一例に該当し、前記特徴点により制限されない。
図６において、前記内眼角に対する特徴点２０３－１と外眼角に対する特徴点２０３－２は同じ水平線上に位置したと図示し、上眼瞼特徴点２０３－３及び下眼瞼特徴点２０３－４は同じ垂直線上に位置したと図示した。しかし、これは、カメラの撮影角度、人の頭角度などによって変わることができる。
一例として、前記眼球領域画像２０３を基準に時計回りに３０°だけ回転された眼球領域画像である場合、前記内眼角に対する特徴点２０３－１と外眼角に対する特徴点２０３－２は同じ水平線上に位置せず、上眼瞼特徴点２０３－３及び下眼瞼特徴点２０３－４は同じ垂直線上に位置しないことがある。このような場合、前記眼球座標学習部１２０は、前記回転された眼球領域画像で前記内眼角に対する特徴点２０３－１と外眼角に対する特徴点２０３－２が同じ水平線上に位置し、上眼瞼特徴点２０３－３及び下眼瞼特徴点２０３－４が同じ垂直線上に位置するように画像を変換することができる。このとき、 前記眼球座標学習部 １２０は、アフィン変換（Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを利用して前記回転された眼球領域画像を変換することができ、これは一例に該当し、これに制限されない。
前記眼球座標学習部１２０は、前記生成された正規化された瞳孔中心の水平座標値及び垂直座標値を学習データとしてさらに利用して、前記第２人工神経網モデルを学習させることができる。
また、前記眼球座標学習部１２０は、複数個のカメラで撮影された複数個の動画のフレーム画像を利用して瞳孔中心の水平座標値及び垂直座標値を生成することができる。前記複数個の動画は、シンクが合わせられた動画であってよい。前記眼球座標学習部１２０は、複数個の動画でシンクが互いに合う複数個のフレーム画像から算出された瞳孔中心の水平座標値及び垂直座標値の平均値を計算することができる。前記眼球座標学習部１２０は、前記瞳孔中心の水平座標値及び垂直座標値の平均値を学習データとしてさらに利用して、前記第２人工神経網モデルを学習させることができる。これにより、前記第２人工神経網モデルは、より正確な瞳孔中心座標と関連した情報を生成することができる。前記瞳孔中心座標と関連した情報は、各フレーム画像による瞳孔中心の垂直座標値、水平座標値、瞳孔中心の垂直方向への動き情報、水平方向への動き情報などを含むことができる。前記瞳孔中心座標と関連した情報は、２次元座標に対する内容を含むことができる。
前記眼球座標学習部１２０は、前記フレーム画像から左眼と右眼に対する眼球領域画像を抽出して、左眼の瞳孔中心座標と関連した情報及び右眼の瞳孔中心座標と関連した情報を生成するように前記第２人工神経網モデルを学習させることができる。
本明細書の他の実施形態によれば、前記メモリ１００は、少なくとも１つの仮想オブジェクトのデータを保存することができる。前記第２人工神経網モデルは、前記眼球座標学習部１２０によって、仮想オブジェクトのパラメーター（Ｐａｒａｍｅｔｅｒ）の頭回転、眼球回転及びカメラ設定と関連したパラメーターのうち少なくとも１つを変更したパラメーター値及び前記パラメーター値に従って獲得した仮想オブジェクトの画像を含む学習データを利用して、瞳孔中心の座標と関連した情報を生成するように学習されることができる。
図７は、本明細書の他の実施形態に係る第２人工神経網モデルの学習データを生成する例示を図示した図面である。
図７を参照すれば、前記眼球座標学習部１２０は、仮想オブジェクトの頭回転、眼球回転及びカメラ設定と関連したパラメーターのうち少なくとも１つを変更することができる。一例として、前記眼球座標学習部１２０は、仮想のカメラが仮想のオブジェクトを正面で撮影（図７の上側図面）するようにパラメーター値を設定することができる。前記眼球座標学習部１２０は、仮想のカメラが仮想のオブジェクトを右側で撮影（図７の下側図面）するようにパラメーター値を変更することができる。また、前記眼球座標学習部１２０は、仮想のカメラと仮想のオブジェクトとの間の距離に対するパラメーター値を変更することができる。
前記眼球座標学習部１２０は、仮想のオブジェクトの頭がロール（Ｒｏｌｌ）、ピッチ（Ｐｉｔｃｈ）及びヨー（Ｙａｗ）のうち少なくともいずれか１つの方向に回転するようにパラメーター値を設定することができる。
前記眼球座標学習部１２０は、仮想のオブジェクトの眼球がロール、ピッチ及びヨーのうち少なくともいずれか１つの方向に回転するようにパラメーター値を設定することができる。
前記眼球座標学習部１２０は、前記パラメーターのうち少なくともいずれか１つを変更し、前記仮想オブジェクトの画像を獲得することができる。前記眼球座標学習部１２０は、前記パラメーター値及びパラメーター値による仮想オブジェクトを利用して、前記第２人工神経網モデルを学習させることができる。このとき、前記第２人工神経網モデルを瞳孔中心の２次元座標及び／又は３次元座標に対する情報を生成するように学習されることができる。
前記仮想のオブジェクトは、３Ｄガウシアンスプラッター（３Ｄ Ｇａｕｓｓｉａｎ Ｓｐｌａｔｔｅｒ）を利用して生成されたガウシアンアバター（Ｇａｕｓｓｉａｎ Ａｖａｔａｒ）を意味することができる。前記眼球座標学習部１２０は、前記仮想のオブジェクトの潜在ベクトル（Ｌａｔｅｎｔ Ｖｅｃｔｏｒ）を制御して仮想オブジェクトの頭と瞳孔のオイラー（Ｅｕｌｅｒ）座標を変更することができる。前記ガウシアンアバターは一例に該当し、これに制限されず、当業者の間で広く知られている技術で生成された仮想のオブジェクトが利用されることができる。
また、前記メモリ１００は、人の顔が撮影された画像によって頭座標、瞳孔中心座標及びカメラ設定と関連した情報のうち少なくとも１つを含むラベリング（Ｌａｂｅｌｉｎｇ）データを保存することができる。前記眼球座標学習部１２０は、前記データを利用して、前記第２人工神経網モデルを学習させることができる。
また、前記眼球座標学習部１２０は、前記眼球領域画像を利用した学習データ、前記仮想オブジェクトのパラメーター変化に従って獲得した学習データ及びラベリングデータのうち少なくとも１つを利用して、前記第２人工神経網モデルを学習させることができる。
本明細書の一実施形態によれば、前記第３人工神経網モデルは、前記眼球回転学習部１３０によって、人の顔が撮影された動画の各フレーム画像から抽出された眼球が含まれた領域の画像である眼球領域画像が抽出されることができる。前記眼球回転学習部１３０は、前記眼球領域画像の時間順によって生成された眼球位相変化と関連した情報を含む学習データを利用して、眼球の回転値を生成するように前記第３人工神経網モデルを学習することができる。
前記眼球回転学習部１３０は、前記動画の各フレーム画像から前記眼球領域画像を抽出することができる。前記眼球回転学習部１３０は、任意のフレーム画像から抽出された眼球領域画像を該当フレーム画像を基準に予め設定された時間範囲内のフレーム画像から抽出された眼球領域画像と比較して眼球位相変化と関連した情報を生成することができる。一例として、前記眼球回転学習部１３０は、任意のフレーム画像から抽出された眼球領域画像を該当フレーム画像を基準に０．１秒前後で獲得したフレーム画像から抽出された眼球領域画像と比較して眼球の位相変化と関連した情報を生成することができる。これは一例に該当し、前記時間により制限されない。
本明細書の一実施形態によれば、前記眼球回転学習部１３０は、前記眼球領域画像で虹彩が占める領域の画像である虹彩領域画像を抽出することができる。前記虹彩領域画像は、前記眼球領域画像で虹彩を含むバウンディングボックス内の画像を意味することができる。前記眼球回転学習部１３０は、前記虹彩領域画像の時間順による虹彩の位相変化と関連した情報を利用して、前記第３人工神経網モデルを学習させることができる。
さらに詳しくは、前記眼球回転学習部１３０は、任意のフレーム画像から抽出された虹彩領域画像を任意のフレーム画像を基準に予め設定された時間範囲内のフレーム画像から抽出された虹彩領域画像と比較することができる。一例として、前記虹彩領域画像は、虹彩が占める領域が他の領域と異なるピクセル値に区分されたマスク画像であってよく、これは一例に該当し、これに制限されない。
また、前記眼球回転学習部１３０は、前記眼球座標学習部１２０で生成された虹彩のマスク画像を利用して位相変化と関連した情報を生成することができる。
前記眼球回転学習部１３０は、任意のフレーム画像から抽出された虹彩領域画像と他の虹彩領域画像とのピクセル値を比較して虹彩の位相の変化と関連した情報を生成することができる。前記眼球回転学習部１３０は、位相交差相関分析（Ｐｈａｓｅ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を利用して任意のフレーム画像から抽出された虹彩領域画像と他の虹彩領域画像とのピクセル値に対する位相交差相関関係値を生成することができる。前記位相交差相関分析を利用して算出される位相の変化と関連した情報は、虹彩の角度変化に対する内容を含むことができる。
前記眼球回転学習部１３０は、速いフーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ、ＦＦＴ）でアップサンプリング（ＵＰｓａｍｐｌｉｎｇ）された交差相関の値を求める方法で前記位相交差相関関係値を生成することができる。前記眼球回転学習部１３０は、ＦＦＴを利用して交差相関ピーク初期推定値を算出した後、推定値を基準に予め設定された領域で離散フーリエ変換（Ｄｉｓｃｒｅｔｅ ＦＦＴ、ＤＦＴ）でアップサンプリングされた信号の位相移動を精密に推定して前記位相交差相関関係値を生成することができる。これは一例に該当し、前記方式により制限されない。
前記眼球回転学習部１３０は、前記虹彩領域の画像及び位相交差相関関係値を学習データとして利用して、前記第３人工神経網モデルを学習させることができる。
本明細書の一実施形態によれば、前記眼球回転学習部１３０は、第ｍ動画のフレーム画像から抽出された眼球領域画像で瞳孔が占める領域のサイズを算出することができる。前記眼球回転学習部１３０は、予め設定された基準によってターゲット眼球領域画像のサイズを調節することができる。前記ターゲット眼球領域画像は、任意のフレーム画像から抽出された眼球領域画像を意味し、特定眼球領域画像を称する用語ではない。
前記眼球回転学習部１３０は、任意のフレーム画像から抽出されたターゲット眼球領域画像とすぐ先立つフレーム画像から抽出された先立つ眼球領域画像から算出された瞳孔が占める領域のサイズを比較することができる。前記眼球回転学習部１３０は、前記ターゲット眼球領域画像から抽出された瞳孔が占める領域のサイズが前記先立つターゲット眼球領域画像から抽出された瞳孔が占める領域のサイズと予め設定された差異値以内の値を持つように、前記ターゲット眼球領域画像のサイズを調節することができる。前記眼球回転学習部１３０は、各眼球領域画像のサイズを調節した以後に、前記位相交差相関関係値を算出することができる。
また、前記眼球回転学習部１３０は、前記フレーム画像で眼球が含まれた領域のバウンディングボックスを生成することができる。前記眼球回転学習部１３０は、前記バウンディングボックス内から瞳孔中心を抽出することができる。又は、前記眼球回転学習部１３０は、前記第２人工神経網モデルで生成された瞳孔中心の座標と関連した情報を入力されることができる。
前記眼球回転学習部１３０は、前記瞳孔中心が前記バウンディングボックスの中心に位置するようにバウンディングボックスを調節することができる。前記眼球回転学習部１３０は、調節されたバウンディングボックス内部の画像を眼球領域画像として抽出することができる。前記眼球回転学習部１３０は、前記記載された方式に従って眼球領域画像のサイズを調節した以後に前記虹彩領域画像を抽出して前記位相交差相関関係値を算出することができる。
前記眼球回転学習部１３０は、前記虹彩領域画像及び位相交差相関関係値を利用して、前記第３人工神経網モデルが眼球の回転値を生成するように学習させることができる。前記眼球の回転値は、眼球の中心軸を基準に時計回り又は反時計回りに回転された角度を意味することができる。
前記眼球回転学習部１３０は、前記フレーム画像から左眼と右眼に対する眼球領域画像を抽出して、左眼と右眼の位相変化と関連した情報を生成するように前記第３人工神経網モデルを学習させることができる。
本明細書の一実施形態によれば、前記眼球座標学習部１２０は、前記第１人工神経網モデルで生成された情報を利用して、前記第２人工神経網モデルを学習させることができる。また、前記眼球回転学習部１３０は、前記第２人工神経網モデルで生成された情報を利用して、前記第３人工神経網モデルを学習させることができる。
一例として、前記眼球座標学習部１２０は、前記第１人工神経網モデルに入力された複数個のフレーム画像及び各フレーム画像から抽出された頭座標と関連した情報を利用して学習データを生成することができる。前記眼球座標学習部１２０は、前記各フレーム画像及び各フレーム画像から抽出された頭座標と関連した情報を利用して、各フレーム画像で眼球領域画像を生成することができる。前記眼球座標学習部１２０は、前記頭座標と関連した情報で眼球座標と関連した情報を利用して、各フレーム画像で眼球領域画像を生成することができる。前記眼球座標学習部１２０は、以上で説明された過程に従って、前記第２人工神経網モデルを学習させることができる。
前記眼球回転学習部１３０は、前記第２人工神経網モデルで生成された各フレーム画像による瞳孔中心の座標と関連した情報をさらに利用して、前記第３人工神経網モデルを学習させることができる。また、前記眼球回転学習部１３０は、前記眼球座標学習部１２０で分割された虹彩及び／又は瞳孔の画像を利用して、以上で説明された過程に従って学習データを生成して、前記第３人工神経網モデルを学習させることができる。
前記第１～第３人工神経網モデルは、互いに独立して学習されることができ、各人工神経網モデルで生成された情報を利用して学習されることもできる。
以下においては、第１実施形態に係る前記平衡機能管理システム１０が学習された人工神経網モデルを利用して、平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行う過程について説明する。
前記平衡機能管理システム１０は、ｎ個のカメラから平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影するｎ個の動画のフレーム画像をリアルタイムで獲得することができる。
１つのカメラで前記対象者を撮影するとき、カメラは予め設定されたＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）以上の値に設定されることができる。一例として、１つのカメラは２４０ＦＰＳで前記対象者を撮影することができ、これは一例に該当し、前記数値により制限されない。
複数個のカメラで前記対象者を撮影するとき、前記平衡機能管理システム１０は少なくとも１つのプロセッサを介して複数個のカメラのシンクを調節することができる。一例として、前記少なくとも１つのプロセッサは、ゲンロック（Ｇｅｎｌｏｃｋ）などの技術を利用して複数個のカメラのシンクをリアルタイムで調節することができ、これは一例に該当し、当業者の間で広く知られている技術を通じて複数個のカメラのシンクを調節することができる。
また、前記平衡機能管理システム１０は、少なくとも１つのプロセッサを介して複数個のカメラのフレーム画像をサンプリングすることができる。一例として、１つのカメラは１００ＦＰＳで前記対象者を撮影し、他の１つのカメラは５０ＦＰＳで前記対象者を撮影することができる。この場合、前記平衡機能管理システム１０は少なくとも１つのプロセッサを利用して１００ＦＰＳで撮影された動画を１／２倍ダウンサンプリング（Ｄｏｗｎ Ｓａｍｐｌｉｎｇ）するか、５０ＦＰＳで撮影された動画を２倍アップサンプリングすることができる。これは一例に該当し、これに制限されない。
好ましくは、同じフレームレートを持つ複数個のカメラで前記対象者を撮影することができる。
前記平衡機能管理システム１０は、前記第１～第３人工神経網モデルのうち少なくとも１つを利用して、対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報のうち少なくとも１つを獲得することができる。
前記平衡機能管理システム１０は、前記頭座標、瞳孔中心座標及び／又は眼球の位相変化と関連した情報を前記第１～第３人工神経網モデルを利用して獲得することができる。
また、前記平衡機能管理システム１０は、少なくとも１つのプロセッサが以上で説明された前記第１～第３人工神経網モデルの学習データを生成するアルゴリズムを利用して、前記頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を生成することもできる。
以下においては、前記第１～第３人工神経網モデルを利用して、前記頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を生成すると説明する。しかし、前記情報を生成するために、必ずしも人工神経網モデルを利用しなければならないものではない。
前記頭座標獲得部１４０は、前記メモリ１００に保存された前記第１人工神経網モデルを実行させ、第ｍ動画のフレーム画像を前記第１人工神経網モデルに入力して、第ｍ動画による頭座標と関連した情報を獲得することができる。第ｍ動画による頭座標と関連した情報は、第ｍ動画のフレーム画像の順によって生成された頭座標と関連した情報を意味することができる。
一例として、２個のカメラで前記対象者を撮影するとき、前記頭座標獲得部１４０は、第１動画のフレーム画像の順による頭座標と関連した情報及び第２動画のフレーム画像の順による頭座標と関連した情報を獲得することができ、これは一例に該当し、前記カメラ及び動画の個数により制限されない。
複数個のカメラで前記対象者を撮影するとき、前記頭座標獲得部１４０は、第ｍ動画のフレーム画像を独立して、前記第１人工神経網モデルに入力することができる。又は、前記頭座標獲得部１４０は、第ｍ動画のフレーム画像を順次に前記第１人工神経網モデルに入力することができる。
一例として、２個のカメラで前記対象者を撮影するとき、前記頭座標獲得部１４０は、第１動画のフレーム画像を前記第１人工神経網モデルに入力することができる。以後に、前記頭座標獲得部１４０は、第２動画のフレーム画像を前記第１人工神経網モデルに入力することができる。
又は、前記頭座標獲得部１４０は、第２動画のフレーム画像を前記第１人工神経網モデルに入力した以後に、第１動画のフレーム画像を前記第１人工神経網モデルに入力することができる。
前記頭座標獲得部１４０は、第ｍ動画のフレーム画像を予め決められた順によって順次に前記第１人工神経網モデルに入力することができる。一例として、前記頭座標獲得部１4０は、第１動画の一番目のフレーム画像を前記第１人工神経網モデルに入力し、第２動画の一番目のフレーム画像を前記第１人工神経網モデルに入力することができる。以後に、前記頭座標獲得部１4０は、第１動画の二番目のフレーム画像を前記第１人工神経網モデルに入力し、第２動画の二番目のフレーム画像を前記第１人工神経網モデルに入力することができ、これは一例に該当し、前記順序により制限されない。このとき、前記第１人工神経網モデルに入力されるフレーム画像は、抽出された動画の情報を含むことができる。
前記眼球座標獲得部１５０は、前記メモリ１００に保存された第２人工神経網モデルを実行させ、前記頭座標と関連した情報を前記第２人工神経網モデルに入力して、第ｍ動画による瞳孔中心座標と関連した情報を獲得することができる。第ｍ動画による瞳孔中心座標と関連した情報は、第ｍ動画のフレーム画像の順によって生成された瞳孔中心座標と関連した情報を意味することができる。
一例として、２個のカメラで前記対象者を撮影するとき、前記眼球座標獲得部１５０は、第１動画のフレーム画像の順による瞳孔中心座標と関連した情報及び第２動画のフレーム画像の順による瞳孔中心座標と関連した情報を獲得することができ、これは一例に該当し、前記カメラ及び動画の個数により制限されない。
前記位相変化獲得部１６０は、前記メモリ１００に保存された第３人工神経網モデルを実行させ、前記第ｍ動画のフレーム画像の時間順による瞳孔中心座標と関連した情報を前記第３人工神経網モデルに入力し、第ｍ動画による眼球の位相変化と関連した情報を獲得することができる。第ｍ動画による眼球の位相変化と関連した情報は、第ｍ動画のフレーム画像の順によって生成された眼球の位相変化と関連した情報を意味することができる。
一例として、２個のカメラで前記対象者を撮影するとき、前記位相変化獲得部１６０は、第１動画のフレーム画像の順による眼球の位相変化と関連した情報及び第２動画のフレーム画像の順による眼球の位相変化と関連した情報を獲得することができ、これは一例に該当し、前記カメラ及び動画の個数により制限されない。
図８は、本明細書の一実施形態に係る平衡機能状態情報を生成するための平衡機能管理システムのブロック図である。
図８を参照すれば、本明細書の一実施形態に係る平衡機能状態情報を生成するための平衡機能管理システム１０－１は、メモリ１００、頭座標学習部１１０、眼球座標学習部１２０、眼球回転学習部１３０、頭座標獲得部１４０、眼球座標獲得部１５０、位相変化獲得部１６０、頭の動き生成部１１００、眼球の動き生成部１１１０、速度情報生成部１１２０、及び平衡機能状態情報生成部１１３０を含むことができる。
前記メモリ１００、頭座標学習部１１０、眼球座標学習部１２０、眼球回転学習部１３０、頭座標獲得部１４０、眼球座標獲得部１５０、及び位相変化獲得部１６０は以上で説明したので、繰り返しの説明は省略する。
前記頭の動き生成部１１００は、前記第１人工神経網モデルから獲得した頭座標と関連した情報を利用して、第ｍ動画における頭の動きと関連した情報を生成することができる。前記頭の動きと関連した情報は、時間による頭の水平方向への動き、垂直方向への動き、頭の回転程度などを含むことができる。前記頭の回転程度は、頭のロール、ピッチ及びヨー方向に対する回転角度を意味することができる。前記頭の動きと関連した情報は、時間による頭の水平座標値、垂直座標値のグラフで表現されることができる。
本明細書の一実施形態によれば、前記頭の動き生成部１１００は、各フレーム画像で生成された頭の特徴点及び特徴点の座標を利用して、前記対象者の頭のノーマルベクトル（Ｎｏｒｍａｌ Ｖｅｃｔｏｒ）を計算することができる。前記ノーマルベクトルの方向は、対象者の頭正面が向かう方向を意味することができる。対象者の頭の正面が向かう方向は、鼻先が向かう方向を意味することができる。前記頭の動き生成部１１００は、頭の特徴点のうち鼻先の特徴点を基準に前記頭の特徴点を利用して頭のノーマルベクトルを計算することができる。
又は、対象者の頭の正面が向かう方向は、前記鼻先の特徴点を基準に垂直に一直線上にある任意の特徴点（額の端、唇の中心など）に向かう方向を意味することができる。前記頭の動き生成部１１００は、前記任意の特徴点のうちいずれか１つを基準に頭のノーマルベクトルを計算することができる。
特徴点を利用して頭の正面に対するノーマルベクトルを計算することは当業者の間で広く知られている技術であるので、詳しい説明は省略する。
前記頭の動き生成部１１００は、第ｍ動画のフレーム画像による３次元頭座標情報及びノーマルベクトルを利用して、時間による頭の動きと関連した情報を生成することができる。前記頭の動き生成部１１００は、前記頭の動きと関連した情報をグラフで出力することができる。
前記眼球の動き生成部１１１０は、第２人工神経網モデル及び第３人工神経網モデルで生成された瞳孔中心座標及び眼球の位相変化と関連した情報を利用して、第ｍ動画における眼球の動きと関連した情報を生成することができる。前記眼球の動きと関連した情報は、時間による瞳孔中心の垂直方向の動き、水平方向の動き及び眼球の回転値と関連した情報を含むことができる。前記眼球の動きと関連した情報は、時間による左眼及び右眼の瞳孔中心の垂直座標値、水平座標値、回転角度に対するグラフで表現されることができる。
前記眼球の動き生成部１１１０は、瞳孔中心の垂直座標値、水平座標値及び回転値を利用して眼球の注視ベクトルを計算することができる。前記瞳孔中心の座標値及び回転値を利用して注視ベクトルを計算することは当業者の間で広く知られている技術であるので、詳しい説明は省略する。
前記眼球の動き生成部１１１０は、前記眼球の動きと関連した情報をグラフで出力することができる。
本明細書の一実施形態によれば、前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、学習データによる頭の動き及び眼球の動き情報と前記対象者の頭の動き及び眼球の動き情報の間の誤差を補正することができる。
前記学習データによる頭の動き及び眼球の動き情報は、前記人工神経網モデルを学習させるための実際データ値を意味することができる。
一例として、前記実際データ値は、前記眼球座標学習部１２０から獲得した頭と眼球のオイラー角度のパラメーター値を意味することができる。前記眼球座標学習部１２０は、平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムにおける実際セッティングと類似するように仮想のカメラのパラメーター値を設定することができる。前記眼球座標学習部１２０は、平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムによる対象者の頭及び眼球の動きと類似するように前記オイラー角度のパラメーター値を変更することができる。このとき、頭と眼球のパラメーター値の変更による仮想オブジェクトの頭及び眼球の動き情報が実際データ値を意味することができる。これは一例に該当し、前記実際データ値は、前記第１～第３人工神経網モデルを学習させるために使用されることができる実際データ値による頭及び眼球の動き情報を意味することができる。
前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、予め設定された時間内で獲得されたフレーム画像の間における頭の動き及び眼球の動きの誤差を補正することができる。一例として、予め設定された時間が１．５秒であり、カメラが１００ＦＰＳで対象者を撮影するとき、前記頭の動き生成部１１００及び眼球の動き生成部１１１０は１５０個のフレーム画像の間における前記頭の動き及び眼球の動きの誤差を補正することができる。これは一例に該当し、前記時間及びフレームレートにより制限されない。
前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、前記頭の動き及び眼球の動きの誤差が予め設定された範囲内の値を持つように補正することができる。
一例として、前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、カメラが１００ＦＰＳで前記対象者を撮影した動画で１５０個のフレーム画像（任意のフレーム画像を基準に１．５秒間獲得したフレーム画像）から獲得した頭座標、瞳孔中心座標及び／又は眼球の位相変化と関連した情報を利用して頭の動き及び眼球の動きと関連した情報を生成することができる。前記頭の動き及び眼球の動きと関連した情報は、フレーム画像の順によって時間による頭及び眼球の動き（垂直、水平、回転）の量で算出されることができる。このとき、５０番目のフレーム画像（任意のフレーム画像を基準に０．５秒以後に獲得したフレーム画像）に対応する時間の頭及び眼球の動きの量が予め設定された誤差範囲を逸脱することができる。この場合、前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、先立つフレーム画像における情報を利用して生成された頭及び眼球の動きの量の平均値又は中央値などの統計値を計算して、５０番目のフレーム画像に対応する時間における動きの量を代替することができる。任意のフレーム画像を基準に１．５秒間獲得したフレーム画像の間で誤差を補正すると記載したが、これは一例に該当し、任意のフレーム画像を基準に１．５秒以前の時間に獲得したフレーム画像、１．５秒前後で獲得したフレーム画像など様々な実施形態が生じることができ、これは一例に該当し、前記時間、フレームレート、統計値などにより制限されない。
他の例として、前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、フィルター（Ｆｉｌｔｅｒ）を適用して前記頭及び眼球の動きの誤差を補正することができる。一例として、前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、Ｃｈａｉｎｉｎｇ Ｋａｌｍａｎ Ｆｉｌｔｅｒ、Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ Ｆｉｌｔｅｒ、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ ｆｉｌｔｅｒ、Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ、Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ、Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒなどのフィルターを利用して前記誤差を補正することができ、これは一例に該当し、これに制限されず、様々な種類のフィルターが使用されることができる。
前記速度情報生成部１１２０は、前記頭の動き及び眼球の動きと関連した情報を利用して、第ｍ動画における頭と眼球の動き速度と関連した情報を生成することができる。前記速度情報生成部１１２０は、前記頭の動きと関連した情報を利用して、時間による頭の垂直方向動き速度、水平方向動き速度及び／又は頭の回転速度などを算出することができる。前記速度情報生成部１１２０は、前記眼球の動きと関連した情報を利用して、時間による眼球の垂直方向動き速度、水平方向動き速度及び／又は眼球の回転速度などを算出することができる。
本明細書の一実施形態によれば、前記速度情報生成部１１２０は、前記頭及び眼球の動き速度と関連した情報からノイズ（Ｎｏｉｓｅ）値をフィルタリングすることができる。一例として、平衡機能状態検査を実施するとき、対象者の目が隠れる場合、対象者が頭を速く回転する場合、頭を遅く回転する場合、頭の位置が変わる場合、などによって頭及び眼球の動きの速度が正確に計算されないノイズ値が発生することができる。前記速度情報生成部１１２０は、Ｃｈａｉｎｉｎｇ Ｋａｌｍａｎ Ｆｉｌｔｅｒ、Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ Ｆｉｌｔｅｒ、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ ｆｉｌｔｅｒ、Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ、Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ、Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒなどのフィルターを利用して頭及び眼球の動き速度と関連した情報からノイズを除去することができ、これは一例に該当し、これに制限されず、様々なノイズ処理方式が利用されることができる。
本明細書の一実施形態によれば、前記速度情報生成部１１２０は、頭の動きが予め設定された臨界値以上になる時点を基準に予め設定された時間内における頭の動き速度及び眼球の動き速度と関連した情報を生成することができる。平衡機能状態検査で前記対象者は頭を水平（Ｌａｔｅｒａｌ Ｌｅｆｔ、Ｌａｔｅｒａｌ Ｒｉｇｈｔ）方向に動かすことができる。このとき、前記速度情報生成部１１２０は、頭の水平方向への動きが予め設定された臨界値以上であるとき、頭及び眼球の動き速度と関連した情報を生成することができる。
また、前記対象者は、右側の前半規管と左側の後半規管（Ｒｉｇｈｔ Ａｎｔｅｒｉｏｒ、Ｌｅｆｔ Ｐｏｓｔｅｒｉｏｒ、ＲＡＬＰ）が刺激されるように、顔の右側面が対象者の正面に向かうように回した状態で右下及び右上方向に頭を動かすことができる。また、前記対象者は、右側の後半規管と左側の前半規管（Ｌｅｆｔ Ａｎｔｅｒｉｏｒ、Ｒｉｇｈｔ Ｐｏｓｔｅｒｉｏｒ、ＬＡＲＰ）が刺激されるように、顔の左側面が対象者の正面に向かうように回した状態で座下及び左上方向に頭を動かすことができる。このとき、前記速度情報生成部１１２０は、頭の垂直方向への動きが予め設定された臨界値以上であるとき、頭及び眼球の動き速度と関連した情報を生成することができる。
以下において、対象者が前記ＲＡＬＰが刺激されるように頭を回転する方向をＲＡＬＰ方向と記載し、対象者が前記ＬＡＲＰが刺激されるように頭を回転する方向をＬＡＲＰ方向と記載する。
一例として、前記速度情報生成部１１２０は、最後に入力されたフレーム画像を基準に予め設定された時間内に存在するフレーム画像による頭の動き情報を利用して、頭の動きが臨界値以上であるか否かを判断することができる。前記速度情報生成部１１２０は、予め設定された時間内に存在するフレーム画像による頭の動き情報で頭の特徴点座標の最大値と最小値との差を計算して頭の動きが臨界値以上であるか否かを判断することができる。前記予め設定された臨界値は、動画のフレームレート、フレーム画像のサイズなどによって変わることができる。
他の例として、前記メモリ１００は、頭の動きに対する情報を生成する第４人工神経網モデルをさらに保存することができる。前記第４人工神経網モデルは、少なくとも１つのプロセッサによって、平衡機能状態検査を行う動画のフレーム画像及び該当フレーム画像で頭のピッチ、ヨー値のデータを利用して学習されることができる。前記第４人工神経網モデルは、時系列モデルやトランスフォーマー（Ｔｒａｎｓｆｏｒｍｅｒ）モデルであってよく、これは一例に該当し、前記モデルにより制限されない。このとき、前記フレーム画像は、前記Ｌａｔｅｒａｌ、ＲＡＬＰ及びＬＡＲＰ方向に対する情報がラベリングされることができる。前記速度情報生成部１１２０は、最後に獲得されたフレーム画像を基準に予め設定された時間内に存在するフレーム画像を前記第４人工神経網モデルに入力して頭の動きが臨界値以上であるか否かを確認することができる。
前記速度情報生成部１１２０は、前記頭の動きが臨界値以上になる時点以後に予め設定された時間の間に生成される頭及び眼球の動きと関連した情報を利用して頭及び眼球の動き速度を計算することができる。一例として、前記速度情報生成部１１２０は、前記頭の動きが臨界値以上になる時点以後に１．５秒以内に生成される頭及び眼球の動きと関連した情報を利用して頭及び眼球の動き速度を計算することができ、これは一例に該当し、前記時間により制限されない。前記速度情報生成部１１２０は、第ｍ動画における頭及び眼球の動き速度をそれぞれ計算することができる。
前記速度情報生成部１１２０は、前記頭及び眼球の動き速度と関連した情報をディスプレイ装置に示すことができる。前記速度情報生成部１１２０は、ノイズが除去された頭及び眼球の動き速度と関連した情報及び／又はノイズが除去されない頭及び眼球の動き速度と関連した情報をディスプレイに示すことができる。
前記平衡機能状態情報生成部１１３０は、頭及び眼球の動き速度と関連した情報を利用して対象者の平衡機能の状態情報を生成することができる。
本明細書の一実施形態によれば、前記平衡機能状態情報生成部１１３０は、予め設定された分析ウィンドウ内で前記対象者の頭の動きの速度が相対的に最も大きいときの時間値（Ｈｅａｄ Ｐｅａｋ Ｉｎｄｅｘ）及び前記対象者の眼球が頭の動きの方向に動いてからさらに既存位置に戻るとき、眼球の動きの速度が相対的に最も大きいときの時間値（Ｅｙｅ Ｐｅａｋ Ｉｎｄｅｘ）を利用してゲイン係数を計算することができる。前記分析ウィンドウは、頭の動きが臨界値以上になる時点を基準に予め設定された時間範囲を意味することができる。前記分析ウィンドウのサイズは、前記速度情報生成部１１２０が頭及び眼球の動きの速度と関連した情報を生成する時間範囲に該当することができる。
一例として、頭の動きが臨界値以上になる時点以後に１．５秒の時間が分析ウィンドウのサイズであってよく、これは一例に該当し、これに制限されない。
前記平衡機能状態情報生成部１１３０は、ノイズが除去された頭及び眼球の動き速度と関連した情報で前記Ｈｅａｄ Ｐｅａｋ Ｉｎｄｅｘ及びＥｙｅ Ｐｅａｋ Ｉｎｄｅｘを利用して、ゲイン係数を［数式１］を利用して計算することができる。
以後に、前記平衡機能状態情報生成部１１３０は、前記ゲイン係数を利用してゲイン値（Ｇａｉｎ）を計算することができる。
前記平衡機能状態情報生成部１１３０は、左眼及び右眼に対するゲイン値をそれぞれ計算することができる。
また、前記平衡機能状態情報生成部１１３０は、第ｍ動画におけるゲイン値をそれぞれ計算することができる。一例として、２個のカメラを利用して前記対象者を撮影した場合、２個の動画に対するゲイン値をそれぞれ計算することができる。この場合、第１動画における左眼及び右眼のゲイン値と第２動画における左眼及び右眼のゲイン値が計算されることができる。前記平衡機能状態情報生成部１１３０は、前記第１動画及び第２動画で計算された左眼のゲイン値に対する統計値を計算し、前記第１動画及び第２動画で計算された右眼のゲイン値に対する少なくとも１つの統計値を計算することができる。前記統計値は、平均値、中央値、最小値、最大値、標準偏差などに該当することができ、これは一例に該当し、これに制限されない。
本明細書の一実施形態によれば、複数個のカメラ（ｎが２以上）で前記対象者を撮影するとき、前記頭の動き生成部１１００は、第ｍ動画による頭座標と関連した情報の統計値を算出して基準頭の動き情報をさらに生成することができる。前記眼球の動き生成部１１１０は、第ｍ動画による瞳孔中心座標及び眼球の位相変化と関連した情報の統計値を算出して基準眼球の動き情報をさらに生成することができる。
複数個のカメラで前記対象者を撮影する場合、カメラの位置、角度などによって第ｍ動画のフレーム画像で生成された３次元頭の座標値の差が発生することができる。
一例として、第１カメラが前記対象者を対象者の右側で撮影し、第２カメラが前記対象者を対象者の左側で撮影することができる。この場合、前記対象者が頭を右側に回転すれば、前記第１カメラで撮影された第１動画のフレーム画像では前記対象者の顔右側に位置した特徴点の座標が左側に位置した特徴点の座標より相対的にさらに正確に計算されることができる。また、前記対象者が頭を左側に回転すれば、前記第２カメラで撮影された第２動画のフレーム画像では前記対象者の顔の左側に位置した特徴点の座標が右側に位置した特徴点の座標より相対的にさらに正確に計算されることができる。
他の例として、前記対象者を中心に１ｍ離れた距離に１５°間隔で対象者を取り囲むように複数個のカメラが設置されることができる。このとき、複数個のカメラは、前記対象者の目線の高さで前記対象者を撮影することができる。このような場合にも、前記対象者の頭の動き方向によってカメラ別に相対的にさらに正確に測定される特徴点の座標が生成されることができる。このように、複数個のカメラの位置、角度などによって算出される２次元頭の座標の情報が互いに差が生じることができる。
前記頭の動き生成部１１００は、第ｍ動画でシンクが互いに合うフレーム画像で生成された３次元頭座標で各特徴点の座標に対する平均値を計算して基準頭座標情報を生成することができる。前記頭の動き生成部１１００は、時間による基準頭座標情報を利用して基準頭の動きと関連した情報をさらに生成することができる。
前記眼球の動き生成部１１１０は、第ｍ動画でシンクが互いに合うフレーム画像で生成された瞳孔中心座標及び眼球の位相変化と関連した情報の平均値を計算して、基準瞳孔中心座標及び基準眼球の位相変化と関連した情報を生成することができる。前記眼球の動き生成部１１１０は、前記基準瞳孔中心座標及び基準眼球の位相変化と関連した情報を利用して眼球の基準注視ベクトルを生成することができる。前記眼球の動き生成部１１１０は、前記基準瞳孔中心座標、基準眼球の位相変化と関連した情報及び基準注視ベクトルを利用して基準眼球の動きと関連した情報をさらに生成することができる。
このとき、前記速度情報生成部１１２０は、前記基準頭の動きが予め設定された臨界値以上になる時点を基準に予め設定された時間内で第ｍ動画に対する頭の動き速度及び眼球の動き速度と関連した情報をそれぞれ生成することができる。
前記平衡機能状態情報生成部１１３０は、前記基準頭の動きが予め設定された臨界値が以上になる時点を基準に予め設定された時間内で第ｍ動画に対するＨｅａｄ Ｐｅａｋ Ｉｎｄｅｘ及びＥｙｅ Ｐｅａｋ Ｉｎｄｅｘを利用してゲイン値をそれぞれ計算することができる。
図９は、本明細書の一実施形態に係る平衡機能状態情報をディスプレイに出力した例示である。
図９を参照すれば、前記頭の動き生成部１１００、眼球の動き生成部１１１０、速度情報生成部１１２０、及び平衡機能状態情報生成部１１３０は、算出した情報をディスプレイ画面で出力することができる。前記ディスプレイ画面には複数個のカメラで撮影された動画がそれぞれ出力されることができる。
前記速度情報生成部１１２０は、第ｍ動画に対する頭及び眼球の動き速度情報をそれぞれグラフ２０５で出力することができる。前記頭及び眼球の動き速度のグラフ２０５で平衡機能状態検査の回数による速度情報が重なって示されることができる。前記頭及び眼球の動きの速度グラフ２０５で頂点及び／又は谷が現れる時間値が前記Ｈｅａｄ Ｐｅａｋ Ｉｎｄｅｘ及び／又はＥｙｅ Ｐｅａｋ Ｉｎｄｅｘに該当することができる。前記グラフで垂直軸が速度値であり、水平軸が時間値に該当することができる。図９には、頭及び眼球の水平方向の速度に対するグラフが図示されているが、これは一例に該当し、検査種類によって垂直、回転方向に対する速度に対するグラフがさらに出力されることができる。
前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、頭及び眼球の動き情報をグラフで出力することができる。前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、頭及び眼球の水平方向への動きグラフ２０６及び垂直方向への動きグラフ２０７を出力することができる。また、頭及び／又は眼球の回転方向に対する動きグラフをさらに出力することができる。また、前記頭及び眼球の動きグラフは、第ｍ動画に対する動き情報を含むことができ、前記基準頭の動き及び基準眼球の動き情報を含むことができる。
前記平衡機能状態情報生成部１１３０は、前記対象者に対する平衡機能状態検査と関連した情報２０８をディスプレイ装置に出力することができる。前記平衡機能状態検査と関連した情報は、頭の回転方向（Ｌａｔｅｒａｌ、ＲＡＬＰ、ＬＡＲＰ）、頭の回転方向によるゲイン値と標準偏差、頭の回転方向による平衡機能状態検査の回数、ゲイン値の計算成功回数及びゲイン値の計算失敗回数のうち少なくとも１つ以上を含むことができる。
前記ゲイン値の計算が失敗する場合は、前記対象者が頭を検査の基準より早く動いたとき発生することができる。この場合、前記Ｈｅａｄ Ｐｅａｋ ＩｎｄｅｘとＥｙｅ Ｐｅａｋ Ｉｎｄｅｘとの間の差が分析ウィンドウサイズの中間を超えることができる。この場合、前記平衡機能状態情報生成部１１３０は、ゲイン値の計算を失敗することができる。前記平衡機能状態情報生成部１１３０は、前記ゲイン値の計算成功及び失敗回数に対する情報を生成して、対象者及び／又は検査者がより正確な判断ができる効果を提供することができる。
また、前記平衡機能状態情報生成部１１３０は、前記ゲイン値に従って半規管の異常有無に対する情報を生成することができる。一例として、前記平衡機能状態情報生成部１１３０は、平衡機能状態検査で前記左眼及び右眼のゲイン値が予め設定された値以下である場合、半規管の異常情報を生成することができる。
また、平衡機能状態検査で前記対象者が頭をＬａｔｅｒａｌ方向に回転することができる。このとき、前記対象者が頭を左側に回転するときと右側に回転するときの左眼及び右眼のゲイン値の差が予め設定された値以上である場合、前記平衡機能状態情報生成部１１３０は半規管の異常情報を生成することができる。
また、平衡機能状態検査で前記対象者が頭をＲＡＬＰ又はＬＡＲＰ方向に回転することができる。このとき、前記対象者が頭を上側に回転するときと下側に回転するときの左眼及び右眼のゲイン値の差が予め設定された値以上である場合、前記平衡機能状態情報生成部１１３０は前記ＲＡＬＰ又はＬＡＲＰの異常情報を生成することができる。
また、前記平衡機能状態情報生成部１１３０は、前記眼球の動きと関連した情報及びゲイン値情報を利用して、中枢性前庭神経機能の異常と末梢性前庭神経機能の異常有無に対する情報をさらに生成することができる。
図１０は、本明細書の一実施形態に係る平衡機能リハビリテーションプログラムを行うための平衡機能管理システムのブロック図である。
図１０を参照すれば、本明細書の一実施形態に係る平衡機能リハビリテーションプログラムを行うための平衡機能管理システム１０－２は、メモリ１００、頭座標学習部１１０、眼球座標学習部１２０、眼球回転学習部１３０、頭座標獲得部１４０、眼球座標獲得部１５０、位相変化獲得部１６０、頭の動き生成部１１００、眼球の動き生成部１１１０、ターゲット出力部１１４０、頭方向提供部１１５０、及びフィードバック提供部１１６０を含むことができる。前記メモリ１００、頭座標学習部１１０、眼球座標学習部１２０、眼球回転学習部１３０、頭座標獲得部１４０、眼球座標獲得部１５０、位相変化獲得部１６０、頭の動き生成部１１００、及び眼球の動き生成部１１１０は以上で説明したので、繰り返しの説明は省略する。
図１１は、本明細書の一実施形態に係る平衡機能リハビリテーションプログラムを行う場面の例示を図示した図面である。
図１１を参照すれば、前記ターゲット出力部１１４０は、ディスプレイ装置に仮想のターゲット２０９を出力することができる。前記仮想のターゲットは、ディスプレイ装置の任意の位置に示されることができる。図１１でターゲットはトランプカードの形状に図示されているが、これは一例に該当し、前記形状により制限されない。
前記頭方向提供部１１５０は、前記対象者に平衡リハビリテーションプロトコル（Ｐｒｏｔｏｃｏｌ）による頭の回転方向に対する情報を提供することができる。一例として、前記頭方向提供部１１５０は、前記対象者が頭をＬａｔｅｒａｌ方向に回転するように情報を提供することができる。
又は、前記頭方向提供部１１５０は、前記対象者が頭をＲＡＬＰ又はＬＡＲＰ方向に回転するように情報を提供することができる。
このとき、前記頭方向提供部１１５０は、前記対象者が頭の右側が正面に向かう状態で頭を上又は下側にのみ回転するように情報を提供することができる。また、前記頭方向提供部１１５０は、前記対象者が頭の左側が正面に向かう状態で頭を上又は下側にのみ回転するように情報を提供することができる。
また、前記頭方向提供部１１５０は、前記対象者が頭を回転させた後に予め設定された時間内に頭を回転させる前の状態に復元するように情報を提供することができる。一例として、前記頭方向提供部１１５０は、１秒以内に頭を回転させた以後に頭を回転させる前の状態に復元するように情報を提供することができる。
前記頭方向提供部１１５０は、前記情報をディスプレイ装置に視覚的に示すことができる。また、前記頭方向提供部１１５０は、前記情報をオーディオ装置に出力することができる。
前記フィードバック提供部１１６０は、前記対象者の頭の動き及び眼球の動きに従ってフィードバック（Ｆｅｅｄｂａｃｋ）を提供することができる。
前記平衡リハビリテーションプロトコルによって前記対象者が頭を回転させなければならない角度の基準が予め決まることができる。前記フィードバック提供部１１６０は、前記頭の動き生成部１１００から生成された前記対象者の頭の回転角度と前記角度の基準を比較することができる。前記フィードバック提供部１１６０は、前記対象者の頭の回転角度が前記角度の基準を満たす場合、聴覚的フィードバック及び／又は視覚的フィードバックを提供することができる。また、前記フィードバック提供部１１６０は、前記対象者の頭の回転角度が前記角度の基準を満たすことができない場合、聴覚的フィードバック及び／又は視覚的フィードバックを提供することができる。前記フィードバック提供部１１６０は、前記対象者の頭の回転角度が前記角度の基準を満たすか否かによって互いに異なるフィードバックを提供することができる。
また、前記眼球の動き生成部１１１０は、眼球注視ベクトルを利用してディスプレイ装置上に前記対象者の視線が向かう注視点の座標情報を生成することができる。前記フィードバック提供部１１６０は、前記眼球の動き生成部１１１０から生成された注視点の座標情報と前記仮想のターゲット２０９の座標情報とを比較することができる。
前記注視点の座標が前記仮想のターゲット２０９の領域内部に位置するとき、前記フィードバック提供部１１６０は、前記仮想のターゲット２０９の色相値を変更することができる。また、前記フィードバック提供部１１６０は、前記仮想のターゲット２０９内部に前記注視点をさらに示すことができる。
前記注視点の座標が前記仮想のターゲット２０９の領域外部に位置するとき、前記フィードバック提供部１１６０は、前記注視点の位置をディスプレイ装置に示すことができる。
前記対象者を複数個のカメラで撮影するとき、前記頭の動き生成部１１００及び眼球の動き生成部１１１０は、以上で説明したように基準頭の動き及び基準眼球の動きと関連した情報を生成することができる。前記フィードバック提供部１１６０は、前記基準頭の動き及び基準眼球の動きと関連した情報に従ってフィードバックを提供することができる。
図１２は、本明細書の一実施形態に係る平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行う平衡機能管理システムのブロック図である。
図１２を参照すれば、平衡機能管理システム１０－３は、メモリ１００、頭座標学習部１１０、眼球座標学習部１２０、眼球回転学習部１３０、頭座標獲得部１４０、眼球座標獲得部１５０、位相変化獲得部１６０、頭の動き生成部１１００、眼球の動き生成部１１１０、速度情報生成部１１２０、平衡機能状態情報生成部１１３０、ターゲット出力部１１４０、頭方向提供部１１５０、及びフィードバック提供部１１６０を含むことができる。前記平衡機能管理システム１０－３は、ゲイン値を生成して平衡機能異常有無による平衡機能リハビリテーションプログラムを提供することができる。
以下においては、本明細書の第２実施形態に係る平衡機能管理システムについて説明する。本明細書の第２実施形態によれば、平衡機能管理システムは、複数個のカメラを利用して対象者を撮影した複数個の動画を利用して対象者の頭及び眼球の動き情報を生成して、平衡機能状態情報生成及び／又は平衡機能リハビリテーションプログラムを行うことができる。以下において、ｎは２以上の自然数を意味することができる。
図１３は、本明細書の第２実施形態に係る平衡機能管理システムのブロック図である。
図１３を参照すれば、本明細書の第２実施形態に係る平衡機能管理システム１０’は、メモリ１００’、頭座標学習部１１０’、眼球座標学習部１２０’及び眼球回転学習部１３０’、頭座標獲得部１４０’、眼球座標獲得部１５０’、及び位相変化獲得部１６０’を含むことができる。
前記メモリ１００’は、頭座標と関連した情報を生成する第１人工神経網モデル、瞳孔中心座標と関連した情報を獲得する第２人工神経網モデル及び眼球の位相変化と関連した情報を獲得する第３人工神経網モデルのうち少なくとも１つを保存することができる。
本明細書の一実施形態によれば、前記第１人工神経網モデルは、前記頭座標学習部１１０’によって、人の顔が撮影された複数個の動画のフレーム画像から抽出された顔の特徴点（Ｆｅａｔｕｒｅ Ｐｏｉｎｔ）及び特徴点の座標を含む学習データを利用して学習されることができる。
前記頭座標学習部１１０’は、人の顔が撮影された少なくとも複数個の動画を利用して、前記第１人工神経網モデルを学習させることができる。前記人の顔が撮影された複数個の動画は、撮影された人が頭を回転する姿を撮影した動画であってよい。
一例として、前記人の顔が撮影された動画は、複数個のカメラを通して撮影されることができる。前記複数個のカメラは、様々な位置及び角度で設置されて人を撮影することができる。前記人の顔が撮影された動画は、人の正面の左側、右側、左上側、右上側など様々な位置で様々な角度で設置されたカメラによって撮影されることができる。複数個のカメラを通して撮影された動画は、同じ状況を複数個のカメラで撮影した動画を意味することができる。
前記人の顔が撮影された動画は、撮影された人の顔が正面に向かう状態で頭を左右に動かす場面が撮影された映像であってよい。また、前記人の顔が撮影された動画は、撮影された人の顔が正面に向かう状態で頭を上下に動かす場面が撮影された映像であってよい。人の顔が正面に向かう状態は、人の視線方向と体の前面方向が一致する状態であってよい。
また、前記人の顔の撮影された動画は、撮影された人が頭を右に回した後に頭を上下に動かす場面が撮影された映像であってよい。また、前記人の顔が撮影された動画は、撮影された人が頭を左側で回した後に上下に動かす場面が撮影された映像であってよい。
また、前記人の顔が撮影された動画は、撮影された人が特定注視点を見つめた状態で頭を回転する場面が撮影された映像であってよい。
前記人の顔が撮影された動画は、カメラの仕様がすべて同じカメラで撮影されることができる。また、前記人の顔が撮影された動画は、互いに異なる仕様を持つカメラで撮影された動画であってよい。また、前記人の顔が撮影された動画は、互いに異なる設定値を持つカメラで撮影された動画であってよい。
以上で説明された人が撮影された動画は一例に該当し、人の頭及び眼球が撮影された動画又は人の頭が撮影されたすべての動画が利用されることができる。また、特定カメラ仕様、設定などにより制限されない。
好ましくは、前記人が撮影された動画は、同じ設定値を持つカメラで撮影された動画であってよい。
本明細書の一実施形態によれば、前記頭座標学習部１１０’は、複数個のカメラを利用して人を撮影した複数個の動画で特徴点を抽出するとき、前記複数個の動画のシンク（ｓｙｎｃ）を調節した以後に特徴点を抽出することができる。前記頭座標学習部１１０’は、前記複数個の動画の特定オーディオ信号、特徴点マッチング基盤同期化などのアルゴリズムを利用して複数個の動画のシンクを調節することができ、これは一例に該当し、これに制限されず、当業者の間で広く知られている様々な技術が利用されることができる。
図１４は、本明細書の一実施形態に係る頭座標学習部がフレーム画像を連結する例示を図示した参考図である。
図１４を参照すれば、前記人の顔が撮影された動画は、２個のカメラを通して撮影された動画であってよい。前記頭座標学習部１１０’は、第１カメラで撮影された第１動画３００及び第２カメラで撮影された第２動画３０１のシンクを調節することができる。前記頭座標学習部１１０’は、前記第１動画３００及び第２動画３０１で互いにシンクが同じフレーム画像を連結して多重フレーム画像３１０を生成することができる。前記頭座標学習部１１０’は、シンクが同じフレーム画像を連結（Ｃｏｎｃａｔｅｎａｔｅ）して多重フレーム画像３１０を生成することができる。一例として、第１動画３００の一番目のフレーム画像３００－１と第２動画３０１の一番目のフレーム画像３０１－１を連結して一番目の多重フレーム画像３１０－１を生成することができる。前記多重フレーム画像は、シンクが同じ複数個のフレーム画像を連結して生成された１つの画像を意味することができる。前記多重フレーム画像は、前記複数個のフレーム画像が配列された１つの画像を意味することができる。
以下において、多重フレーム画像は、ｎ個の動画のフレーム画像のうちシンクが同じ第ｍ動画のフレーム画像が連結されたと仮定して説明する。
前記頭座標学習部１１０’は、ｎ個のカメラで撮影されたｎ個の動画でシンクが同じ第ｍ動画のフレーム画像を連結して多重フレーム画像を生成することができる。前記頭座標学習部１１０’は、第ｍ動画のフレーム画像を予め設定された基準に従って連結することができる。また、前記頭座標学習部１１０’は、フレーム画像が抽出された動画の情報をラベリングすることができる。
前記頭座標学習部１１０’は、前記多重フレーム画像から人の顔に対する特徴点を抽出することができる。一例として、前記頭座標学習部１１０’は、前記各多重フレーム画像から人の顔に位置した特徴点を抽出することができる。一例として、前記特徴点は、人の鼻先、左側外眼角（左側目元で最も外側まぶたが会う箇所）、右側外眼角（右側目元で最も外側の部分まぶたが会う箇所）及び額に対する特徴点を含むことができる。前記特徴点は、人が目を瞬いても位置が変化しないことがある。前記特徴点は一例に該当し、前記特徴点により制限されず、従来の顔認識のために使用される特徴点がさらに含まれることができる。人の頭で特徴点及び特徴点座標を生成する技術は、当業者の間で広く知られている技術であるので、詳しい説明は省略する。
前記頭座標学習部１１０’は、前記各フレーム画像から抽出した特徴点の座標情報を生成することができる。前記頭座標学習部１１０’は、前記各多重フレーム画像から抽出した特徴点及び特徴点の座標を含む学習データを利用して、各多重フレーム画像に対する３次元頭座標を生成するように第１人工神経網モデルを学習させることができる。前記３次元頭座標は、３次元標準頭モデルによる頭の３次元座標を意味することができる。前記頭の３次元座標は、頭のすべての特徴点に対する座標を含むことができる。頭の３次元座標は、各特徴点に対する索引番号と関連した内容を含むことができる。このとき、前記頭座標学習部１１０’は、鼻先の特徴点を基準に索引番号を生成するように前記第１人工神経網モデルを学習させることができる。
前記頭座標学習部１１０’は、前記多重フレーム画像で第ｍ動画のフレーム画像に対する頭の３次元座標を生成するように前記第１人工神経網モデルを学習させることができる。一例として、２個の動画のフレーム画像を連結した多重フレーム画像であるとき、前記頭座標学習部１１０’は、第１動画のフレーム画像に対する頭の３次元座標及び第２動画のフレーム画像に対する頭の３次元座標を生成するように前記第１人工神経網モデルを学習させることができ、これは一例に該当し、前記動画の個数により制限されない。
また、前記頭座標学習部１１０’は、頭の３次元座標に対する基準頭座標を生成するように前記第１人工神経網モデルを学習させることができる。前記基準頭座標は、第ｍ動画のフレーム画像で生成される頭の３次元座標で各特徴点の座標に対する平均値を意味することができる。前記頭座標学習部１１０’は、前記平均値を算出して、前記第１人工神経網モデルがカメラの位置及び角度によって頭座標の差が補正された基準頭座標と関連した情報を生成するように学習させることができる。
また、前記頭座標学習部１１０’は、各多重フレーム画像から抽出された３次元座標を利用して、頭の動き情報をさらに生成するように前記第１人工神経網モデルを学習することができる。
また、前記頭座標学習部１１０’は、特徴点が抽出されたフレーム画像、３ＤＭＭ（３Ｄ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ）、ＦＬＡＭＥ（Ｆａｃｅｓ Ｌｅａｒｎｅｄ ｗｉｔｈ ａｎ Ａｒｔｉｃｕｌａｔｅｄ Ｍｏｄｅｌ ａｎｄ Ｅｘｐｒｅｓｓｉｏｎｓ）モデルなどの３次元標準頭モデルに対するデータを学習データとしてさらに利用して前記第１人工神経網モデルを学習させることができ、これは一例に該当し、前記学習データにより制限されず、様々な学習データが追加でさらに利用されることができる。
本明細書の一実施形態によれば、前記頭座標学習部１１０’は、予め設定された基準による座標値を持つ特徴点を学習データとして利用することができる。前記頭座標学習部１１０’は、予め設定された基準による座標値を持つ特徴点を学習データとして選別することができる。
図１５は、本明細書の一実施形態に係る平衡機能状態を検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影した場面の多重フレーム画像に対する例示である。
図１５を参照すれば、人が撮影された複数個の動画は、前記平衡機能管理システム１０’を利用して平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムを行う複数個の動画であってよい。前記動画は、対象者４００のみ撮影された動画であってよい。また、前記動画は、対象者４００及び検査者４０１が撮影された動画であってよい。以下において、人が撮影された動画は、平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムを行う動画を意味すると記載する。しかし、これは一例に該当し、前記動画により制限されない。
平衡機能状態検査を実施するとき、対象者４００は椅子に座っている状態であり、検査者４０１は対象者の後ろに立っている状態であってよい。検査者４０１は医療専門家を意味することができる。前記平衡機能管理システム１０’は、対象者４００の頭の動きによる眼球の動きを分析して対象者の平衡機能の異常有無を判断し、リハビリテーションプログラムを進めるために対象者４００の頭の動き及び眼球の動きだけ分析することができる。
前記頭座標学習部１１０’は、前記多重フレーム画像から対象者４００の顔の特徴点及び特徴点の座標を抽出して、前記第１人工神経網モデルを学習させることができる。前記頭座標学習部１１０’は、前記多重フレーム画像で第ｍ動画のフレーム画像から対象者の顔の特徴点及び特徴点の座標を抽出して、前記第１人工神経網モデルを学習させることができる。
以上で説明したように、対象者４００は椅子に座っており、検査者４０１は立っている状態であるので、対象者４００の顔から抽出された特徴点は、検査者４０１の顔から抽出された特徴点より相対的に下に位置することができる。これは、対象者４００の顔から抽出された特徴点のｙ座標値が検査者４０１の顔から抽出された特徴点のｙ座標値より相対的に小さいことを意味することができる。
前記頭座標学習部１１０’は、対象者４００及び検査者４０１の顔から抽出された同じ部分の特徴点のうち相対的にｙ座標値が小さな特徴点を学習データとして抽出することができる。前記頭座標学習部１１０’は、予め設定されたｙ座標値の下の領域に位置した特徴点を学習データとして抽出することができる。
また、前記頭座標学習部１１０’は、対象者４００及び検査者４０１の顔から抽出された特徴点をクラスタリングすることができる。以後に、前記頭座標学習部１１０’は、相対的に下に位置する特徴点の集合を学習データとして抽出することができる。
図１６は、本明細書の一実施形態に係る平衡機能状態を検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影した場面の多重フレーム画像に対する例示である。
図１６を参照すれば、前記動画で対象者４００’及び検査者４０１’がみんな立っている状態で平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムが行われることができる。この場合、対象者４００’の顔から抽出された特徴点は、検査者４０１’の顔から抽出された特徴点より相対的にディスプレイ画面の中心に近いことができる。前記頭座標学習部１１０’は、ディスプレイ画面の中心点に対する座標値と相対的にさらに近い座標値を持つ特徴点を学習データとして抽出することができる。
また他の例として、対象者は、検査者よりカメラまでの実際距離が相対的にさらに近いことができる。これにより、前記動画で対象者の顔が検査者の顔より相対的にさらに広い領域を占めることができる。前記頭座標学習部１１０’は、対象者の顔から抽出された特徴点の集合及び検査者の顔から抽出された特徴点の集合のうち相対的にさらに広い領域に分散された特徴点の集合を学習データとして抽出することができる。
前記頭座標学習部１１０’は、前記多重フレーム画像で第ｍ動画のフレーム画像に含まれた対象者の顔で特徴点及び特徴点の座標情報をそれぞれ生成することができる。
以上で説明した頭座標学習部１１０’が対象者の顔から抽出された特徴点のみ学習データとして抽出する過程は一例に該当し、これに制限されず、対象者の位置、検査者の位置、カメラの位置、角度などによって様々な基準が設定されることができる。また、対象者と検査者の顔の位置だけでなく、対象者と検査者を区別するためのマーカーなどを通じて対象者の顔から抽出された特徴点のみを学習データとして抽出することができる。よって、平衡機能状態検査及び／又はリハビリテーション検査プログラムを行う様々な状況に応じて様々な実施形態が生じることができる。
前記動画で対象者が頭を速く回転する場合、第ｍ動画のフレーム画像のうち少なくとも１つに対象者の顔が明確に撮影されない可能性がある。この場合、前記頭座標学習部１１０’は、対象者の顔から特徴点を抽出することができない可能性がある。この場合、前記頭座標学習部１１０’は、検査者の顔から抽出された特徴点を利用して前記第１人工神経網モデルを学習させ、前記第１人工神経網モデルが不正確な結果を算出することができる。
本明細書の一実施形態によれば、前記頭座標学習部１１０’は、第ｍ動画の任意のフレーム画像より先立つフレーム画像から抽出された特徴点の座標を追跡することができる。以上で説明したように、第ｍ動画のフレーム画像で対象者の顔から特徴点を抽出することができない場合、前記頭座標学習部１１０’は、先立つフレーム画像の対象者の画像を利用して学習データを抽出することができる。前記先立つフレーム画像は、任意のフレーム画像より先立つフレーム画像のうち対象者の顔から特徴点を抽出することができる最も近いフレーム画像を意味することができる。
本明細書の一実施形態によれば、前記第２人工神経網モデルは、前記眼球座標学習部１２０’によって、人の顔が撮影された複数個の動画の多重フレーム画像で眼球が含まれた領域の画像である眼球領域画像を含む学習データを利用して、瞳孔中心の座標と関連した情報を生成するように学習されることができる。
前記眼球座標学習部１２０’は、複数個の動画のシンクを調節して多重フレーム画像を生成することができる。又は、前記眼球座標学習部１２０’は、前記頭座標学習部１１０’で生成された多重フレーム画像を入力されることができる。
前記眼球座標学習部１２０’は、多重フレーム画像で対象者の眼球が含まれた領域の画像である対象者の眼球領域画像を抽出することができる。前記眼球座標学習部１２０’は、各フレーム画像から抽出された対象者の眼球領域画像を学習データにして、前記第２人工神経網モデルが瞳孔中心の座標と関連した情報を生成するように学習させることができる。
図１７は、本明細書の一実施形態に係る眼球領域画像を前処理する例示を図示した図面である。
図１７を参照すれば、前記眼球座標学習部１２０’は、各多重フレーム画像４０２から第ｍ動画のフレーム画像による眼球領域画像４０３－１、４０３－２を抽出することができる。前記眼球座標学習部１２０’は、各多重フレーム画像４０２で眼球領域のバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）内部の画像を眼球領域画像４０３－１、４０３－２として抽出することができる。前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１、４０３－２で虹彩と瞳孔領域を分割することができる。人の顔から眼球領域を抽出し、虹彩と瞳孔領域を分割する技術は、当業者の間で広く知られている技術であるので、詳しい説明は省略する。
前記眼球座標学習部１２０’は、まぶたによって虹彩及び／又は瞳孔が隠れた部分に対する領域を推定することができる。図１７に図示されたように、虹彩の一部が上まぶた及び下まぶたによって隠れることができる。前記眼球座標学習部１２０’は、楕円フィッティング（Ｅｌｌｉｐｓｅ Ｆｉｔｔｉｎｇ）、ハフ変換（Ｃｉｒｃｌｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）アルゴリズムなどを利用して隠れた部分を推定することができる。又は、前記眼球座標学習部１２０’は、虹彩及び瞳孔領域を分割するように予め学習された人工神経網モデルを利用して虹彩及び瞳孔領域を分割することができる。これは一例に該当し、前記方式により制限されない。
前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１、４０３－２で虹彩及び／又は瞳孔領域が分割されたデータを利用して、前記第２人工神経網モデルを学習させることができる。一例として、前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１、４０３－２で虹彩及び／又は瞳孔領域を分割してマスク画像４０４－１、４０４－２を生成することができる。前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１、４０３－２で虹彩及び／又は瞳孔が占める領域と残り領域が互いに異なるピクセル値を持つマスク画像を生成することができる。前記マスク画像は、虹彩及び／又は瞳孔が占める領域が白色又は黒色で示されることができ、残り領域は黒色又は白色で示されることができ、これは一例に該当し、これに制限されない。
前記眼球座標学習部１２０’は、前記マスク画像４０４－１、４０４－２を学習データにして、前記第２人工神経網モデルが各動画のフレーム画像に対する瞳孔中心の座標と関連した情報を生成するように学習させることができる。又は、前記眼球座標学習部１２０’は、前記マスク画像４０４－１、４０４－２の２次元ピクセル値を学習データにして、前記第２人工神経網モデルを学習させることができる。又は、前記眼球座標学習部１２０’は、前記マスク画像４０４－１、４０４－２及び２次元ピクセル値を学習データにして、前記第２人工神経網モデルを学習させることができる。
他の例として、前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１、４０３－２で虹彩及び／又は瞳孔領域を分割して示したヒートマップ（Ｈｅａｔｍａｐ）モデルを利用して、前記第２人工神経網モデルを学習させることができる。
前記眼球座標学習部１２０’は、前記マスク画像及びヒートマップモデルのうち少なくとも１つを利用して、前記第２人工神経網モデルを学習させることができる。
図１７においては、２個の動画に対するフレーム画像が連結された多重フレーム画像を利用して前処理する過程を図示したが、これは一例に該当し、前記動画の個数により制限されない。
本明細書の一実施形態によれば、前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１、４０３－２で眼球の特徴点及び特徴点の座標情報を生成し、予め設定された複数個の特徴点の座標を利用して、各動画のフレーム画像に対する前記瞳孔中心の水平座標値及び垂直座標値を生成するように前記第２人工神経網モデルを学習させることができる。前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１、４０３－２から抽出された複数個の特徴点の座標を利用して、正規化（Ｎｏｒｍａｌｉｚｅｄ）された瞳孔中心座標を抽出することができる。
一例として、前記複数個の特徴点座標は、眼球領域画像４０３－１でｙ軸座標が予め設定された範囲内にある特徴点のうちからｘ軸座標値が相対的に最も小さな特徴点、ｘ軸座標値が相対的に最も大きい特徴点を含むことができる。
前記複数個の特徴点座標は、人の正面で撮影された眼球領域画像４０３－１でｘ軸座標が予め設定された範囲内にある特徴点のうちからｙ軸座標値が相対的に最も小さな特徴点及びｙ軸座標値が相対的に最も大きい特徴点を含むことができる。
一例として、前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１から抽出された特徴点のうち内眼角に対する特徴点４０３－１０及び外眼角に対する特徴点４０３－１１を利用して、正規化された瞳孔中心の水平座標を抽出することができる。前記眼球座標学習部１２０’は、内眼角に対する特徴点４０３－１０及び外眼角に対する特徴点４０３－１１を連結した線分を瞳孔中心座標に対する水平軸として利用することができる。内眼角に対する特徴点４０３－１０のｘ座標と外眼角に対する特徴点４０３－１１のｘ座標は、水平軸の両極値に該当することができる。内眼角に対する特徴点４０３－１０のｘ座標と外眼角に対する特徴点４０３－１１のｘ座標との差は、水平軸全体の長さを意味することができる。前記眼球座標学習部１２０’は、前記水平軸全体の長さ対比瞳孔中心の水平座標値を利用して、正規化された瞳孔中心の水平座標を算出することができる。
また、前記眼球座標学習部１２０’は、前記眼球領域画像４０３－１から抽出された特徴点のうち上眼瞼及び下眼瞼と関連した特徴点を利用して、正規化された瞳孔中心の垂直座標を抽出することができる。このとき、上眼瞼と関連した特徴点は、眼球から抽出された特徴点のうち相対的にｙ軸座標が最も大きい特徴点４０３－１２が利用されることができる。以下において、前記特徴点４０３－１２を上眼瞼特徴点と称する。
下眼瞼と関連した特徴点は、眼球から抽出された特徴点のうち相対的にｙ軸座標が最も小さな特徴点４０３－１３が利用されることができる。以下において、前記特徴点４０３－１３を下眼瞼特徴点と称する。
前記眼球座標学習部１２０’は、前記上眼瞼特徴点４０３－１２及び下眼瞼特徴点４０３－１３を連結した線分を瞳孔中心座標に対する垂直軸として利用することができる。上眼瞼特徴点４０３－１２のｙ座標と下眼瞼特徴点４０３－１３のｙ座標は、垂直軸の両極値に該当することができる。上眼瞼特徴点４０３－１２のｙ座標と下眼瞼特徴点４０３－１３のｙ座標との差は、垂直軸全体の長さを意味することができる。前記眼球座標学習部１２０’は、前記垂直軸全体の長さ対比瞳孔中心の垂直座標値を利用して、正規化された瞳孔中心の水平座標を算出することができる。これは一例に該当し、前記特徴点により制限されない。
図１７において、前記内眼角に対する特徴点４０３－１０と外眼角に対する特徴点４０３－１１は同じ水平線上に位置したと図示し、上眼瞼特徴点４０３－１２及び下眼瞼特徴点４０３－１３は同じ垂直線上に位置したと図示した。しかし、これは、カメラの撮影角度、人の頭角度などによって変わることができる。
一例として、前記眼球領域画像４０３－１０を基準に時計回りに３０°だけ回転された眼球領域画像である場合、前記内眼角に対する特徴点４０３－１０と外眼角に対する特徴点４０３－１１は同じ水平線上に位置せず、上眼瞼特徴点４０３－１２及び下眼瞼特徴点４０３－１３は同じ垂直線上に位置しないことがある。このような場合、前記眼球座標学習部１２０’は、前記回転された眼球領域画像で前記内眼角に対する特徴点４０３－１０と外眼角に対する特徴点４０３－１１が同じ水平線上に位置し、上眼瞼特徴点４０３－１２及び下眼瞼特徴点４０３－１３が同じ垂直線上に位置するように画像を変換することができる。このとき、 前記眼球座標学習部１２０’は、アフィン変換（Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを利用して前記回転された眼球領域画像を変換することができ、これは一例に該当し、これに制限されない。
前記眼球座標学習部１２０’は、前記各眼球領域画像４０３－１、４０３－２から眼球の特徴点及び特徴点の座標を抽出し、各動画のフレーム画像に対する正規化された瞳孔中心の座標情報を生成することができる。前記眼球座標学習部１２０’は、前記生成された各動画のフレーム画像に対する正規化された瞳孔中心の水平座標値及び垂直座標値を学習データとしてさらに利用して、前記第２人工神経網モデルを学習させることができる。
また、前記眼球座標学習部１２０’は、多重フレーム画像から算出された瞳孔中心の水平座標値及び垂直座標値の平均値を計算することができる。前記眼球座標学習部１２０’は、前記瞳孔中心の水平座標値及び垂直座標値の平均値を学習データとしてさらに利用して、前記第２人工神経網モデルを学習させることができる。前記眼球座標学習部１２０’は、前記平均値を利用して、前記第２人工神経網モデルがカメラの位置及び角度によって瞳孔中心座標の差が補正された基準瞳孔中心座標と関連した情報を生成するように学習させることができる。
前記瞳孔中心座標と関連した情報は、第ｍ動画のフレーム画像による瞳孔中心の垂直座標値、水平座標値、瞳孔中心の垂直方向への動き情報、水平方向への動き情報などを含むことができる。前記瞳孔中心座標と関連した情報は、２次元座標に対する内容を含むことができる。
前記眼球座標学習部１２０’は、前記多重フレーム画像から左眼と右眼に対する眼球領域画像を抽出して、第ｍ動画のフレーム画像における左眼の瞳孔中心座標と関連した情報及び右眼の瞳孔中心座標と関連した情報を生成するように前記第２人工神経網モデルを学習させることができる。
本明細書の他の実施形態によれば、前記メモリ１００’は、少なくとも１つの仮想オブジェクトのデータを保存することができる。前記第２人工神経網モデルは、前記眼球座標学習部１２０’によって、仮想オブジェクトのパラメーター（Ｐａｒａｍｅｔｅｒ）の頭回転、眼球回転及びカメラ設定と関連したパラメーターのうち少なくとも１つを変更したパラメーター値及び前記パラメーター値に従って獲得した仮想オブジェクトの画像を含む学習データを利用して、瞳孔中心の座標と関連した情報を生成するように学習されることができる。
さらに図７を参照すれば、前記眼球座標学習部１２０’は、仮想オブジェクトの頭回転、眼球回転及びカメラ設定と関連したパラメーターのうち少なくとも１つを変更することができる。一例として、前記眼球座標学習部１２０’は、仮想のカメラが仮想のオブジェクトを正面で撮影（図７の上側図面）するようにパラメーター値を設定することができる。前記眼球座標学習部１２０’は、仮想のカメラが仮想のオブジェクトを右側で撮影（図７の下側図面）するようにパラメーター値を変更することができる。また、前記眼球座標学習部１２０’は、仮想のカメラと仮想のオブジェクトとの間の距離に対するパラメーター値を変更することができる。
前記眼球座標学習部１２０’は、仮想のオブジェクトの頭がロール（Ｒｏｌｌ）、ピッチ（Ｐｉｔｃｈ）及びヨー（Ｙａｗ）のうち少なくともいずれか１つの方向に回転するようにパラメーター値を設定することができる。
前記眼球座標学習部１２０’は、仮想のオブジェクトの眼球がロール、ピッチ及びヨーのうち少なくともいずれか１つの方向に回転するようにパラメーター値を設定することができる。
前記眼球座標学習部１２０’は、前記パラメーターのうち少なくともいずれか１つを変更し、前記仮想オブジェクトの画像を獲得することができる。前記眼球座標学習部１２０’は、前記パラメーター値及びパラメーター値による仮想オブジェクトを利用して、前記第２人工神経網モデルを学習させることができる。このとき、前記第２人工神経網モデルを瞳孔中心の２次元座標及び／又は３次元座標に対する情報を生成するように学習されることができる。
前記仮想のオブジェクトは、３Ｄガウシアンスプラッター（３Ｄ Ｇａｕｓｓｉａｎ Ｓｐｌａｔｔｅｒ）を利用して生成されたガウシアンアバター（Ｇａｕｓｓｉａｎ Ａｖａｔａｒ）を意味することができる。前記眼球座標学習部１２０’は、前記仮想のオブジェクトの潜在ベクトル（Ｌａｔｅｎｔ Ｖｅｃｔｏｒ）を制御して仮想オブジェクトの頭と瞳孔のオイラー（Ｅｕｌｅｒ）座標を変更することができる。前記ガウシアンアバターは一例に該当し、これに制限されず、当業者の間で広く知られている技術で生成された仮想のオブジェクトが利用されることができる。
また、前記メモリ１００’は、人の顔が撮影された画像によって頭座標、瞳孔中心座標及びカメラ設定と関連した情報のうち少なくとも１つを含むラベリング（Ｌａｂｅｌｉｎｇ）データを保存することができる。前記眼球座標学習部１２０’は、前記データを利用して、前記第２人工神経網モデルを学習させることができる。
また、前記眼球座標学習部１２０’は、前記眼球領域画像を利用した学習データ、前記仮想オブジェクトのパラメーター変化に従って獲得した学習データ及びラベリングデータのうち少なくとも１つを利用して、前記第２人工神経網モデルを学習させることができる。
本明細書の一実施形態によれば、前記第３人工神経網モデルは、前記眼球回転学習部１３０’によって、人の顔が撮影された複数個の動画の各多重フレーム画像から抽出された眼球が含まれた領域の画像である眼球領域画像が抽出されることができる。前記眼球回転学習部１３０’は、各動画による眼球領域画像の時間順によって生成された眼球位相変化と関連した情報を含む学習データを利用して、眼球の回転値を生成するように前記第３人工神経網モデルを学習されることができる。
前記眼球回転学習部１３０’は、複数個の動画のシンクを調節して前記多重フレーム画像を生成することができる。又は、前記眼球回転学習部１３０’は、前記頭座標学習部１１０’で生成された多重フレーム画像を入力されることができる。
前記眼球回転学習部１３０’は、前記多重フレーム画像で第ｍ動画のフレーム画像に対する眼球領域画像を抽出することができる。前記眼球回転学習部１３０’は、多重フレーム画像から抽出された前記眼球領域画像を該当多重フレーム画像を基準に予め設定された時間範囲内の多重フレーム画像から抽出された眼球領域画像と比較して眼球位相変化と関連した情報を生成することができる。一例として、前記眼球回転学習部１３０’は、任意の多重フレーム画像から抽出された眼球領域画像を該当多重フレーム画像を基準に０．１秒前後で獲得した多重フレーム画像から抽出された眼球領域画像と比較して眼球の位相変化と関連した情報を生成することができる。このとき、前記眼球回転学習部１３０’は、第ｍ動画に対する眼球領域画像を利用して、第ｍ動画による眼球の位相変化と関連した情報を生成することができる。これは一例に該当し、前記時間により制限されない。
本明細書の一実施形態によれば、前記眼球回転学習部１３０’は、前記眼球領域画像で虹彩が占める領域の画像である虹彩領域画像を抽出することができる。前記虹彩領域画像は、第ｍ動画のフレーム画像における虹彩領域画像を意味することができる。前記虹彩領域画像は、前記眼球領域画像で虹彩を含むバウンディングボックス内の画像を意味することができる。前記眼球回転学習部１３０’は、前記虹彩領域画像の時間順による虹彩の位相変化と関連した情報を利用して、前記第３人工神経網モデルを学習させることができる。
さらに詳しくは、前記眼球回転学習部１３０’は、任意の多重フレーム画像から抽出された虹彩領域画像を任意の多重フレーム画像を基準に予め設定された時間範囲内の多重フレーム画像から抽出された虹彩領域画像と比較することができる。前記虹彩領域画像は、虹彩が占める領域が他の領域と異なるピクセル値に区分されたマスク画像であってよく、これは一例に該当し、これに制限されない。
また、前記眼球回転学習部１３０’は、前記眼球座標学習部１２０’で生成された虹彩のマスク画像を利用して位相変化と関連した情報を生成することができる。
前記眼球回転学習部１３０’は、任意の多重フレーム画像から抽出された虹彩領域画像と他の虹彩領域画像とのピクセル値を比較して虹彩の位相の変化と関連した情報を生成することができる。前記眼球回転学習部１３０’は、位相交差相関分析（Ｐｈａｓｅ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を利用して任意の多重フレーム画像から抽出された虹彩領域画像と他の虹彩領域画像とのピクセル値に対する位相交差相関関係値を生成することができる。前記位相交差相関分析を利用して算出される位相の変化と関連した情報は、虹彩の角度変化に対する内容を含むことができる。
前記眼球回転学習部１３０’は、速いフーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ、ＦＦＴ）でアップサンプリング（ＵＰｓａｍｐｌｉｎｇ）された交差相関の値を求める方法で前記位相交差相関関係値を生成することができる。前記眼球回転学習部１３０’は、ＦＦＴを利用して交差相関ピーク初期推定値を算出した後、推定値を基準に予め設定された領域で離散フーリエ変換（Ｄｉｓｃｒｅｔｅ ＦＦＴ、ＤＦＴ）でアップサンプリングされた信号の位相移動を精密に推定して前記位相交差相関関係値を生成することができる。これは一例に該当し、前記方式により制限されない。
前記眼球回転学習部１３０’は、前記虹彩領域の画像及び位相交差相関関係値を学習データとして利用して、前記第３人工神経網モデルを学習させることができる。
本明細書の一実施形態によれば、前記眼球回転学習部１３０’は、前記眼球領域画像で瞳孔が占める領域のサイズを算出することができる。前記眼球回転学習部１３０’は、予め設定された基準によってターゲット眼球領域画像のサイズを調節することができる。前記ターゲット眼球領域画像は、任意の多重フレーム画像から抽出された眼球領域画像を意味し、特定眼球領域画像を称する用語ではない。
前記眼球回転学習部１３０’は、任意の多重フレーム画像から抽出されたターゲット眼球領域画像とすぐ先立つ多重フレーム画像から抽出された先立つ眼球領域画像から算出された瞳孔が占める領域のサイズを比較することができる。前記眼球回転学習部１３０’は、前記ターゲット眼球領域画像から抽出された瞳孔が占める領域のサイズが前記先立つターゲット眼球領域画像から抽出された瞳孔が占める領域のサイズと予め設定された差異値以内の値を持つように、前記ターゲット眼球領域画像のサイズを調節することができる。このとき、前記眼球回転学習部１３０’は、第ｍ動画に対応する眼球領域画像から抽出された瞳孔が占める領域のサイズを比較して第ｍ動画から抽出されたターゲット眼球領域画像のサイズを調節することができる。前記眼球回転学習部１３０’は、各眼球領域画像のサイズを調節した以後に、前記位相交差相関関係値を算出することができる。
また、前記眼球回転学習部１３０’は、前記多重フレーム画像で眼球が含まれた領域のバウンディングボックスを生成することができる。前記眼球回転学習部１３０’は、前記バウンディングボックス内から瞳孔中心を抽出することができる。前記眼球回転学習部１３０’は、前記瞳孔中心が前記バウンディングボックスの中心に位置するようにバウンディングボックスを調節することができる。又は、前記眼球回転学習部１３０’は、前記第２人工神経網モデルで生成された瞳孔中心の座標と関連した情報を入力されることができる。
前記眼球回転学習部１３０’は、調節されたバウンディングボックス内部の画像を眼球領域画像として抽出することができる。前記眼球回転学習部１３０’は、前記記載された方式に従って眼球領域画像のサイズを調節した以後に前記虹彩領域画像を抽出して前記位相交差相関関係値を算出することができる。
前記眼球回転学習部１３０’は、前記虹彩領域画像及び位相交差相関関係値を利用して、前記第３人工神経網モデルが第ｍ動画に対する眼球の回転値を生成するように学習させることができる。前記眼球の回転値は、眼球の中心軸を基準に時計回り又は反時計回りに回転された角度を意味することができる。また、前記眼球回転学習部１３０’は、第ｍ動画で時間によるフレーム画像から算出した眼球の回転値の平均値を計算することができる。前記眼球回転学習部１３０’は、前記平均値を利用して、前記第３人工神経網モデルが基準眼球の回転値を生成するように学習させることができる。前記基準眼球の回転値は、カメラの位置、角度などによって各動画で算出される回転値の差が補正された回転値を意味することができる。
前記眼球回転学習部１３０’は、前記フレーム画像から左眼と右眼に対する眼球領域画像を抽出して、左眼と右眼の位相変化と関連した情報を生成するように前記第３人工神経網モデルを学習させることができる。
本明細書の一実施形態によれば、前記眼球座標学習部１２０’は、前記第１人工神経網モデルで生成された情報を利用して、前記第２人工神経網モデルを学習させることができる。また、前記眼球回転学習部１３０’は、前記第２人工神経網モデルで生成された情報を利用して、前記第３人工神経網モデルを学習させることができる。
一例として、前記眼球座標学習部１２０’は、前記第１人工神経網モデルに入力された複数個の多重フレーム画像及び各多重フレーム画像から抽出された第ｍ動画のフレーム画像における頭座標と関連した情報を利用して学習データを生成することができる。前記眼球座標学習部１２０’は、前記各多重フレーム画像及び各多重フレーム画像から抽出された頭座標と関連した情報を利用して、各多重フレーム画像で眼球領域画像を生成することができる。前記眼球座標学習部１２０’は、前記頭座標と関連した情報で眼球座標と関連した情報を利用して、各多重フレーム画像で眼球領域画像を生成することができる。前記眼球座標学習部１２０’は、以上で説明された過程に従って、前記第２人工神経網モデルを学習させることができる。
前記眼球回転学習部１３０’は、前記第２人工神経網モデルで生成された各多重フレーム画像による瞳孔中心の座標と関連した情報をさらに利用して、前記第３人工神経網モデルを学習させることができる。また、前記眼球回転学習部１３０’は、前記眼球座標学習部１２０’で分割された虹彩及び／又は瞳孔の画像を利用して、以上で説明された過程に従って学習データを生成して、前記第３人工神経網モデルを学習させることができる。
前記第１～第３人工神経網モデルは、互いに独立して学習されることができ、各人工神経網モデルで生成された情報を利用して学習されることもできる。
以下においては、前記平衡機能管理システム１０’が前記学習された人工神経網モデルを利用して、平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行う過程について説明する。
前記平衡機能管理システム１０’は、ｎ個のカメラから平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影するｎ個の動画のフレーム画像をリアルタイムで獲得することができる。
前記平衡機能管理システム１０’は、少なくとも１つのプロセッサを介して複数個のカメラのシンクを調節することができる。一例として、前記少なくとも１つのプロセッサは、ゲンロック（Ｇｅｎｌｏｃｋ）などの技術を利用して複数個のカメラのシンクをリアルタイムで調節することができ、これは一例に該当し、当業者の間で広く知られている技術を通じて複数個のカメラのシンクを調節することができる。
また、前記平衡機能管理システム１０’は、少なくとも１つのプロセッサを介して複数個のカメラのフレーム画像をサンプリングすることができる。一例として、１つのカメラは１００ＦＰＳで前記対象者を撮影し、他の１つのカメラは５０ＦＰＳで前記対象者を撮影することができる。この場合、前記平衡機能管理システム１０’は少なくとも１つのプロセッサを利用して１００ＦＰＳで撮影された動画を１／２倍ダウンサンプリング（Ｄｏｗｎ Ｓａｍｐｌｉｎｇ）するか、５０ＦＰＳで撮影された動画を２倍アップサンプリングすることができる。これは一例に該当し、これに制限されない。
好ましくは、前記平衡機能管理システム１０’は、同じＦＰＳ設定値を持つ複数個のカメラを通して平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムを行う対象者を撮影する動画をリアルタイムで獲得することができる。
前記平衡機能管理システム１０’は、前記第１～第３人工神経網モデルのうち少なくとも１つを利用して、対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報のうち少なくとも１つを獲得することができる。
前記平衡機能管理システム１０’は、前記頭座標、瞳孔中心座標及び／又は眼球の位相変化と関連した情報を前記第１～第３人工神経網モデルを利用して獲得することができる。
また、前記平衡機能管理システム１０’は、少なくとも１つのプロセッサが以上で説明された前記第１～第３人工神経網モデルの学習データを生成するアルゴリズムを利用して、前記頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を生成することもできる。
以下においては、前記第１～第３人工神経網モデルを利用して、前記頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を生成すると説明する。しかし、前記情報を生成するために、必ずしも人工神経網モデルを利用しなければならないものではない。
前記頭座標獲得部１４０’は、前記メモリ１００’に保存された前記第１人工神経網モデルを実行させ、ｎ個の動画のフレーム画像を連結した多重フレーム画像を前記第１人工神経網モデルに入力して、第ｍ動画による頭座標と関連した情報を獲得することができる。第ｍ動画による頭座標と関連した情報は、多重フレーム画像の順によって生成された第ｍ動画に対する頭座標と関連した情報を意味することができる。
前記眼球座標獲得部１５０’は、前記メモリ１００’に保存された第２人工神経網モデルを実行させ、前記頭座標と関連した情報を前記第２人工神経網モデルに入力して、第ｍ動画による瞳孔中心座標と関連した情報を獲得することができる。第ｍ動画による瞳孔中心座標と関連した情報は、多重フレーム画像の順によって生成された第ｍ動画の瞳孔中心座標と関連した情報を意味することができる。
前記位相変化獲得部１６０’は、前記メモリ１００’に保存された第３人工神経網モデルを実行させ、多重フレーム画像の時間順による第ｍ動画の瞳孔中心座標と関連した情報を前記第３人工神経網モデルに入力して、第ｍ動画による眼球の位相変化と関連した情報を獲得することができる。第ｍ動画による眼球の位相変化と関連した情報は、第ｍ動画のフレーム画像の順によって生成された眼球の位相変化と関連した情報を意味することができる。
図１８は、本明細書の一実施形態に係る平衡機能状態情報を生成するための平衡機能管理システムのブロック図である。
図１８を参照すれば、本明細書の一実施形態に係る平衡機能状態情報を生成するための平衡機能管理システム１０’－１は、メモリ１００’、頭座標学習部１１０’、眼球座標学習部１２０’、眼球回転学習部１３０’、頭座標獲得部１４０’、眼球座標獲得部１５０’、位相変化獲得部１６０’、頭の動き生成部１１００’、眼球の動き生成部１１１０’、速度情報生成部１１２０’、及び平衡機能状態情報生成部１１３０’を含むことができる。
前記メモリ１００’、頭座標学習部１１０’、眼球座標学習部１２０’、眼球回転学習部１３０’、頭座標獲得部１４０’、眼球座標獲得部１５０’、及び位相変化獲得部１６０’は以上で説明したので、繰り返しの説明は省略する。
前記頭の動き生成部１１００’は、前記第１人工神経網モデルから獲得した頭座標と関連した情報を利用して、第ｍ動画における頭の動きと関連した情報を生成することができる。前記頭の動きと関連した情報は、時間による頭の水平方向への動き、垂直方向への動き、頭の回転程度などを含むことができる。前記頭の回転程度は、頭のロール、ピッチ及びヨー方向に対する回転角度を意味することができる。前記頭の動きと関連した情報は、時間による頭の水平座標値、垂直座標値のグラフで表現されることができる。
本明細書の一実施形態によれば、前記頭の動き生成部１１００’は、各フレーム画像で生成された頭の特徴点及び特徴点の座標を利用して、前記対象者の頭のノーマルベクトル（Ｎｏｒｍａｌ Ｖｅｃｔｏｒ）を計算することができる。前記ノーマルベクトルの方向は、対象者の頭正面が向かう方向を意味することができる。対象者の頭の正面が向かう方向は、鼻先が向かう方向を意味することができる。前記頭の動き生成部１１００’は、頭の特徴点のうち鼻先の特徴点を基準に前記頭の特徴点を利用して頭のノーマルベクトルを計算することができる。
又は、対象者の頭の正面が向かう方向は、前記鼻先の特徴点を基準に垂直に一直線上にある任意の特徴点（額の端、唇中心など）が向かう方向を意味することができる。前記頭の動き生成部１１００’は、前記任意の特徴点のうちいずれか１つを基準に頭のノーマルベクトルを計算することができる。
特徴点を利用して頭の正面に対するノーマルベクトルを計算することは当業者の間で広く知られている技術であるので、詳しい説明は省略する。
前記頭の動き生成部１１００’は、第ｍ動画のフレーム画像による３次元頭座標情報及びノーマルベクトルを利用して、時間による頭の動きと関連した情報を生成することができる。前記頭の動き生成部１１００’は、前記頭の動きと関連した情報をグラフで出力することができる。
前記眼球の動き生成部１１１０’は、第２人工神経網モデル及び第３人工神経網モデルで生成された瞳孔中心座標及び眼球の位相変化と関連した情報を利用して、第ｍ動画における眼球の動きと関連した情報を生成することができる。前記眼球の動きと関連した情報は、時間による瞳孔中心の垂直方向の動き、水平方向の動き及び眼球の回転値と関連した情報を含むことができる。前記眼球の動きと関連した情報は、時間による左眼及び右眼の瞳孔中心の垂直座標値、水平座標値、回転角度に対するグラフで表現されることができる。
前記眼球の動き生成部１１１０’は、瞳孔中心の垂直座標値、水平座標値及び回転値を利用して眼球の注視ベクトルを計算することができる。前記瞳孔中心の座標値及び回転値を利用して注視ベクトルを計算することは当業者の間で広く知られている技術であるので、詳しい説明は省略する。
前記眼球の動き生成部１１１０’は、前記眼球の動きと関連した情報をグラフで出力することができる。
本明細書の一実施形態によれば、前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、学習データによる頭の動き及び眼球の動き情報と前記対象者の頭の動き及び眼球の動き情報の間の誤差を補正することができる。
前記学習データによる頭の動き及び眼球の動き情報は、前記人工神経網モデルを学習させるための実際データ値を意味することができる。
一例として、前記実際データ値は、前記眼球座標学習部１２０’から獲得した頭と眼球のオイラー角度のパラメーター値を意味することができる。前記眼球座標学習部１２０’は、平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムにおける実際セッティングと類似するように仮想のカメラのパラメーター値を設定することができる。前記眼球座標学習部１２０’は、平衡機能状態検査及び／又は平衡機能リハビリテーションプログラムによる対象者の頭及び眼球の動きと類似するように前記オイラー角度のパラメーター値を変更することができる。このとき、頭と眼球のパラメーター値の変更による仮想オブジェクトの頭及び眼球の動き情報が実際データ値を意味することができる。これは一例に該当し、前記実際データ値は、前記第１～第３人工神経網モデルを学習させるために使用されることができる実際データ値による頭及び眼球の動き情報を意味することができる。
前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、予め設定された時間内で獲得されたフレーム画像の間における頭の動き及び眼球の動きの誤差を補正することができる。一例として、予め設定された時間が１．５秒であり、カメラが１００ＦＰＳで対象者を撮影するとき、前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は１５０個のフレーム画像の間における前記頭の動き及び眼球の動きの誤差を補正することができる。これは一例に該当し、前記時間及びフレームレートにより制限されない。
前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、前記頭の動き及び眼球の動きの誤差が予め設定された範囲内の値を持つように補正することができる。
一例として、前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、複数個のカメラが１００ＦＰＳで前記対象者を撮影した動画で１５０個のフレーム画像（任意のフレーム画像を基準に１．５秒間獲得したフレーム画像）から獲得した頭座標、瞳孔中心座標及び／又は眼球の位相変化と関連した情報を利用して頭の動き及び眼球の動きと関連した情報を生成することができる。前記頭の動き及び眼球の動きと関連した情報は、フレーム画像の順によって時間による頭及び眼球の動き（垂直、水平、回転）の量で算出されることができる。このとき、５０番目のフレーム画像（任意のフレーム画像を基準に０．５秒以後に獲得したフレーム画像）に対応する時間における頭及び眼球の動きの量が予め設定された誤差範囲を逸脱することができる。この場合、前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、先立つフレーム画像における情報を利用して生成された頭及び眼球の動きの量の平均値又は中央値などの統計値を計算して、５０番目のフレーム画像に対応する時間における動きの量を代替することができる。
任意のフレーム画像を基準に１．５秒間獲得したフレーム画像の間で誤差を補正すると記載したが、これは一例に該当し、任意のフレーム画像を基準に１．５秒以前の時間に獲得したフレーム画像、１．５秒前後で獲得したフレーム画像など様々な実施形態が生じることができ、これは一例に該当し、前記時間、フレームレート、統計値などにより制限されない。
他の例として、前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、フィルター（Ｆｉｌｔｅｒ）を適用して前記頭及び眼球の動きの誤差を補正することができる。一例として、前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、Ｃｈａｉｎｉｎｇ Ｋａｌｍａｎ Ｆｉｌｔｅｒ、Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ Ｆｉｌｔｅｒ、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ ｆｉｌｔｅｒ、Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ、Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ、Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒなどのフィルターを利用して前記誤差を補正することができ、これは一例に該当し、これに制限されず、様々な種類のフィルターが使用されることができる。
本明細書の他の実施形態によれば、前記頭座標学習部１１０’、眼球座標学習部１２０’及び眼球回転学習部１３０’は、前記誤差を補正するように前記第１～第３人工神経網モデルを学習させることができる。前記第１～第３人工神経網は、前記誤差が補正された頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を生成することができる。
前記速度情報生成部１１２０’は、前記頭の動き及び眼球の動きと関連した情報を利用して、第ｍ動画における頭と眼球の動き速度と関連した情報を生成することができる。前記速度情報生成部１１２０’は、前記頭の動きと関連した情報を利用して、時間による頭の垂直方向動き速度、水平方向動き速度及び／又は頭の回転速度などを算出することができる。前記速度情報生成部１１２０’は、前記眼球の動きと関連した情報を利用して、時間による眼球の垂直方向動き速度、水平方向動き速度及び／又は眼球の回転速度などを算出することができる。
本明細書の一実施形態によれば、前記速度情報生成部１１２０’は、前記頭及び眼球の動き速度と関連した情報からノイズ（Ｎｏｉｓｅ）値をフィルタリングすることができる。一例として、平衡機能状態検査を実施するとき、対象者の目が隠れる場合、対象者が頭を速く回転する場合、頭を遅く回転する場合、頭の位置が変わる場合、などによって頭及び眼球の動きの速度が正確に計算されないノイズ値が発生することができる。前記速度情報生成部１１２０’は、Ｃｈａｉｎｉｎｇ Ｋａｌｍａｎ Ｆｉｌｔｅｒ、Ｍｏｖｉｎｇ Ａｖｅｒａｇｅ Ｆｉｌｔｅｒ、Ｓａｖｉｔｚｋｙ－Ｇｏｌａｙ ｆｉｌｔｅｒ、Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ、Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ、Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒなどのフィルターを利用して頭及び眼球の動き速度と関連した情報からノイズを除去することができ、これは一例に該当し、これに制限されず、様々なノイズ処理方式が利用されることができる。
本明細書の一実施形態によれば、前記速度情報生成部１１２０’は、頭の動きが予め設定された臨界値以上になる時点を基準に予め設定された時間内における頭の動き速度及び眼球の動き速度と関連した情報を生成することができる。平衡機能状態検査で前記対象者は頭を水平（Ｌａｔｅｒａｌ Ｌｅｆｔ、Ｌａｔｅｒａｌ Ｒｉｇｈｔ）方向に動かすことができる。このとき、前記速度情報生成部１１２０’は、頭の水平方向への動きが予め設定された臨界値以上であるとき、頭及び眼球の動き速度と関連した情報を生成することができる。
また、前記対象者は、右側の前半規管と左側の後半規管（Ｒｉｇｈｔ Ａｎｔｅｒｉｏｒ、Ｌｅｆｔ Ｐｏｓｔｅｒｉｏｒ、ＲＡＬＰ）が刺激されるように、顔の右側面が対象者の正面に向かうように回した状態で右下及び右上方向に頭を動かすことができる。また前記対象者は、右側の後半規管と左側の前半規管（Ｌｅｆｔ Ａｎｔｅｒｉｏｒ、Ｒｉｇｈｔ Ｐｏｓｔｅｒｉｏｒ、ＲＡＬＰ）が刺激されるように、顔の左側面が対象者の正面に向かうように回した状態で座下及び左上方向に頭を動かすことができる。このとき、前記速度情報生成部１１２０’は、頭の垂直方向への動きが予め設定された臨界値以上であるとき、頭及び眼球の動き速度と関連した情報を生成することができる。
以下において、対象者がＲＡＬＰが刺激されるように頭を回転する方向をＲＡＬＰ方向と記載し、対象者がＬＡＲＰが刺激されるように頭を回転する方向をＬＡＲＰ方向と記載する。
一例として、前記速度情報生成部１１２０’は、最後に入力されたフレーム画像を基準に予め設定された時間内に存在するフレーム画像による頭の動き情報を利用して、頭の動きが臨界値以上であるか否かを判断することができる。前記速度情報生成部１１２０’は、予め設定された時間内に存在するフレーム画像による頭の動き情報で頭の特徴点座標の最大値と最小値との差を計算して頭の動きが臨界値以上であるか否かを判断することができる。前記予め設定された臨界値は、動画のフレームレート、フレーム画像のサイズなどによって変わることができる。
他の例として、前記メモリ１００’は、頭の動きに対する情報を生成する第４人工神経網モデルをさらに保存することができる。前記第４人工神経網モデルは、少なくとも１つのプロセッサによって、平衡機能状態検査を行う動画のフレーム画像及び該当フレーム画像で頭のピッチ、ヨー値のデータを利用して学習されることができる。前記第４人工神経網モデルは、時系列モデルやトランスフォーマー（Ｔｒａｎｓｆｏｒｍｅｒ）モデルであってよく、これは一例に該当し、前記モデルにより制限されない。このとき、前記フレーム画像は、前記ＬＡｔｅｒａｌ、ＲＡＬＰ及びＬＡＲＰ方向に対する情報がラベリングされることができる。前記速度情報生成部１１２０’は、最後に獲得されたフレーム画像を基準に予め設定された時間内に存在するフレーム画像を前記第４人工神経網モデルに入力して頭の動きが臨界値以上であるか否かを確認することができる。
前記速度情報生成部１１２０’は、前記頭の動きが臨界値以上になる時点以後に予め設定された時間の間に生成される頭及び眼球の動きと関連した情報を利用して頭及び眼球の動き速度を計算することができる。一例として、前記速度情報生成部１１２０’は、前記頭の動きが臨界値以上になる時点以後に１．５秒以内に生成される頭及び眼球の動きと関連した情報を利用して頭及び眼球の動き速度を計算することができ、これは一例に該当し、前記時間により制限されない。前記速度情報生成部１１２０’は、第ｍ動画における頭及び眼球の動き速度をそれぞれ計算することができる。
前記速度情報生成部１１２０’は、前記頭及び眼球の動き速度と関連した情報をディスプレイ装置に示すことができる。前記速度情報生成部１１２０’は、ノイズが除去された頭及び眼球の動き速度と関連した情報及び／又はノイズが除去されない頭及び眼球の動き速度と関連した情報をディスプレイに示すことができる。
前記平衡機能状態情報生成部１１３０’は、頭及び眼球の動き速度と関連した情報を利用して対象者の平衡機能の状態情報を生成することができる。
本明細書の一実施形態によれば、前記平衡機能状態情報生成部１１３０’は、予め設定された分析ウィンドウ内で前記対象者の頭の動きの速度が相対的に最も大きいときの時間値（Ｈｅａｄ Ｐｅａｋ Ｉｎｄｅｘ）及び前記対象者の眼球が頭の動きの方向に動いてからさらに既存位置に戻るとき、眼球の動きの速度が相対的に最も大きいときの時間値（Ｅｙｅ Ｐｅａｋ Ｉｎｄｅｘ）を利用してゲイン係数を計算することができる。前記分析ウィンドウは、頭の動きが臨界値以上になる時点を基準に予め設定された時間範囲を意味することができる。前記分析ウィンドウのサイズは、前記速度情報生成部１１２０’が頭及び眼球の動きの速度と関連した情報を生成する時間範囲に該当することができる。
一例として、頭の動きが臨界値以上になる時点以後に１．５秒の時間が分析ウィンドウのサイズであってよく、これは一例に該当し、これに制限されない。
前記平衡機能状態情報生成部１１３０’は、ノイズが除去された頭及び眼球の動き速度と関連した情報で前記Ｈｅａｄ Ｐｅａｋ Ｉｎｄｅｘ及びＥｙｅ Ｐｅａｋ Ｉｎｄｅｘを利用して、ゲイン係数を前記［数式１］を利用して計算することができる。
以後に、前記平衡機能状態情報生成部１１３０’は、前記［数式２］を利用してゲイン値（Ｇａｉｎ）を計算することができる。
前記平衡機能状態情報生成部１１３０’は、左眼及び右眼に対するゲイン値をそれぞれ計算することができる。
前記平衡機能状態情報生成部１１３０’は、第ｍ動画におけるゲイン値をそれぞれ計算することができる。一例として、２個のカメラを利用して前記対象者を撮影した場合、２個の動画に対するゲイン値をそれぞれ計算することができる。この場合、第１動画における左眼及び右眼のゲイン値と第２動画における左眼及び右眼のゲイン値が計算されることができる。前記平衡機能状態情報生成部１１３０’は、前記第１動画及び第２動画で計算された左眼のゲイン値に対する統計値を計算し、前記第１動画及び第２動画で計算された右眼のゲイン値に対する少なくとも１つの統計値を計算することができる。前記統計値は、平均値、中央値、最小値、最大値、標準偏差などに該当することができ、これは一例に該当し、これに制限されない。
本明細書の一実施形態によれば、前記頭の動き生成部１１００’は、第ｍ動画による頭座標と関連した情報の統計値を算出して基準頭の動き情報をさらに生成することができる。前記頭の動き生成部１１００’は、多重フレーム画像で生成された第ｍ動画による頭座標と関連した情報の統計値を算出して基準頭の動き情報をさらに生成することができる。
前記眼球の動き生成部１１１０’は、第ｍ動画による瞳孔中心座標及び眼球の位相変化と関連した情報の統計値を算出して基準眼球の動き情報をさらに生成することができる。前記眼球の動き生成部１１１０’は、多重フレーム画像で生成されたそれぞれの動画による瞳孔中心座標及び眼球の位相変化と関連した情報の統計値を算出して基準眼球の動き情報をさらに生成することができる。
複数個のカメラで前記対象者を撮影する場合、カメラの位置、角度などによって第ｍ動画のフレーム画像で生成された３次元頭の座標値の差が発生することができる。
一例として、第１カメラが前記対象者を対象者の右側で撮影し、第２カメラが前記対象者を対象者の左側で撮影することができる。この場合、前記対象者が頭を右側に回転すれば、前記第１カメラで撮影された第１動画のフレーム画像では前記対象者の顔右側に位置した特徴点の座標が左側に位置した特徴点の座標より相対的にさらに正確に計算されることができる。また、前記対象者が頭を左側に回転すれば、前記第２カメラで撮影された第２動画のフレーム画像では前記対象者の顔の左側に位置した特徴点の座標が右側に位置した特徴点の座標より相対的にさらに正確に計算されることができる。
他の例として、前記対象者を中心に１ｍ離れた距離に１５°間隔で対象者を取り囲むように複数個のカメラが設置されることができる。このとき、複数個のカメラは、前記対象者の目線の高さで前記対象者を撮影することができる。このような場合にも、前記対象者の頭の動き方向によってカメラ別に相対的にさらに正確に測定される特徴点の座標が生成されることができる。
このように、複数個のカメラの位置、角度などによって算出される２次元頭の座標の情報が互いに差が生じることができる。
前記頭の動き生成部１１００’は、第ｍ動画でシンクが互いに合うフレーム画像で生成された３次元頭座標の平均値を計算して基準頭座標情報を生成することができる。前記頭の動き生成部１１００’は、時間による基準頭座標情報を利用して基準頭の動きと関連した情報をさらに生成することができる。
又は、前記頭座標獲得部１１０’は、前記第１人工神経網モデルから前記基準頭座標を獲得することができる。前記頭の動き生成部１１００’は、前記基準頭座標を利用して基準頭の動きと関連した情報をさらに生成することができる。
前記眼球の動き生成部１１１０’は、第ｍ動画でシンクが互いに合うフレーム画像で生成された瞳孔中心座標及び眼球の位相変化と関連した情報の平均値を計算して、基準瞳孔中心座標及び基準眼球の位相変化と関連した情報を生成することができる。前記眼球の動き生成部１１１０’は、前記基準瞳孔中心座標及び基準眼球の位相変化と関連した情報を利用して眼球の基準注視ベクトルを生成することができる。前記眼球の動き生成部１１１０’は、前記基準瞳孔中心座標、基準眼球の位相変化と関連した情報及び基準注視ベクトルを利用して基準眼球の動きと関連した情報をさらに生成することができる。
又は、前記眼球座標獲得部１５０’及び位相変化獲得部１６０’は、前記第２及び第３人工神経網モデルから基準瞳孔中心座標と関連した情報及び基準眼球の回転値情報を獲得することができる。前記眼球の動き生成部１１１０’は、前記基準瞳孔中心座標と関連した情報及び基準眼球の回転値情報を利用して前記基準眼球の動きと関連した情報を生成することができる。
このとき、前記速度情報生成部１１２０’は、前記基準頭の動きが予め設定された臨界値以上になる時点を基準に予め設定された時間内で第ｍ動画に対する頭の動き速度及び眼球の動き速度と関連した情報をそれぞれ生成することができる。
前記平衡機能状態情報生成部１１３０’は、前記基準頭の動きが予め設定された臨界値が以上になる時点を基準に予め設定された時間内で第ｍ動画に対するＨｅａｄ Ｐｅａｋ Ｉｎｄｅｘ及びＥｙｅ Ｐｅａｋ Ｉｎｄｅｘを利用してゲイン値をそれぞれ計算することができる。
図９に図示されたように、前記頭の動き生成部１１００’、眼球の動き生成部１１１０’、速度情報生成部１１２０’、及び平衡機能状態情報生成部１１３０’は、算出した情報をディスプレイ画面で出力することができる。前記ディスプレイ画面には複数個のカメラで撮影された動画がそれぞれ出力されることができる。
前記速度情報生成部１１２０’は、第ｍ動画に対する頭及び眼球の動き速度情報をそれぞれグラフ２０５で出力することができる。前記頭及び眼球の動き速度のグラフ２０５で平衡機能状態検査の回数による速度情報が重なって示されることができる。前記頭及び眼球の動きの速度グラフ２０５で頂点及び／又は谷が現れる時間値が前記Ｈｅａｄ Ｐｅａｋ Ｉｎｄｅｘ及び／又はＥｙｅ Ｐｅａｋ Ｉｎｄｅｘに該当することができる。前記グラフで垂直軸が速度値であり、水平軸が時間値に該当することができる。図９には、頭及び眼球の水平方向の速度に対するグラフが図示されているが、これは一例に該当し、検査種類によって垂直、回転方向に対する速度に対するグラフがさらに出力されることができる。
前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、頭及び眼球の動き情報をグラフで出力することができる。前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、頭及び眼球の水平方向への動きグラフ２０６及び垂直方向への動きグラフ２０７を出力することができる。また、頭及び／又は眼球の回転方向に対する動きグラフをさらに出力することができる。また、前記頭及び眼球の動きグラフは、第ｍ動画に対する動き情報を含むことができ、前記基準頭の動き及び基準眼球の動き情報を含むことができる。
前記平衡機能状態情報生成部１１３０’は、前記対象者に対する平衡機能状態検査と関連した情報２０８をディスプレイ装置に出力することができる。前記平衡機能状態検査と関連した情報は、頭の回転方向（Ｌａｔｅｒａｌ、ＲＡＬＰ、ＬＡＲＰ）、頭の回転方向によるゲイン値と標準偏差、頭の回転方向による平衡機能状態検査の回数、ゲイン値の計算成功回数及びゲイン値の計算失敗回数のうち少なくとも１つ以上を含むことができる。
前記ゲイン値の計算が失敗する場合は、前記対象者が頭を検査の基準より早く動いたとき発生することができる。この場合、前記Ｈｅａｄ Ｐｅａｋ ＩｎｄｅｘとＥｙｅ Ｐｅａｋ Ｉｎｄｅｘとの間の差が分析ウィンドウサイズの中間を超えることができる。この場合、前記平衡機能状態情報生成部１１３０’は、ゲイン値の計算を失敗することができる。前記平衡機能状態情報生成部１１３０’は、前記ゲイン値の計算成功及び失敗回数に対する情報を生成して、対象者及び／又は検査者がより正確な判断ができる効果を提供することができる。
また、前記平衡機能状態情報生成部１１３０’は、前記ゲイン値に従って半規管の異常有無に対する情報を生成することができる。一例として、前記平衡機能状態情報生成部１１３０’は、平衡機能状態検査で前記左眼及び右眼のゲイン値が予め設定された値以下である場合、半規管の異常情報を生成することができる。
また、平衡機能状態検査で前記対象者が頭をＬａｔｅｒａｌ方向に回転することができる。このとき、前記対象者が頭を左側に回転するときと右側に回転するときの左眼及び右眼のゲイン値の差が予め設定された値以上である場合、前記平衡機能状態情報生成部１１３０’は半規管の異常情報を生成することができる。
また、平衡機能状態検査で前記対象者が頭をＲＡＬＰ又はＬＡＲＰ方向に回転することができる。このとき、前記対象者が頭を上側に回転するときと下側に回転するときの左眼及び右眼のゲイン値の差が予め設定された値以上である場合、前記平衡機能状態情報生成部１１３０’は半規管の異常情報を生成することができる。
また、前記平衡機能状態情報生成部１１３０’は、前記眼球の動きと関連した情報及びゲイン値情報を利用して、中枢性平衡神経機能の異常と末梢性平衡神経機能の異常有無に対する情報をさらに生成することができる。
図１９は、本明細書の一実施形態に係る平衡機能リハビリテーションプログラムを行うための平衡機能管理システムのブロック図である。
図１９を参照すれば、本明細書の一実施形態に係る平衡機能リハビリテーションプログラムを行うための平衡機能管理システム１０’－２は、メモリ１００’、頭座標学習部１１０’、眼球座標学習部１２０’、眼球回転学習部１３０’、頭座標獲得部１４０’、眼球座標獲得部１５０’、位相変化獲得部１６０’、頭の動き生成部１１００’、眼球の動き生成部１１１０’、ターゲット出力部１１４０’、頭方向提供部１１５０’、及びフィードバック提供部１１６０’を含むことができる。前記メモリ１００’、頭座標学習部１１０’、眼球座標学習部１２０’、眼球回転学習部１３０’、頭座標獲得部１４０’、眼球座標獲得部１５０’、位相変化獲得部１６０’、頭の動き生成部１１００’、及び眼球の動き生成部１１１０’は以上で説明したので、繰り返しの説明は省略する。
図１１に図示されたように、前記ターゲット出力部１１４０’は、ディスプレイ装置に仮想のターゲット２０９を出力することができる。前記仮想のターゲットは、ディスプレイ装置の任意の位置に示されることができる。図１１でターゲットはトランプカードの形状に図示されているが、これは一例に該当し、前記形状により制限されない。
前記頭方向提供部１１５０’は、前記対象者に平衡リハビリテーションプロトコル（Ｐｒｏｔｏｃｏｌ）による頭の回転方向に対する情報を提供することができる。一例として、前記頭方向提供部１１５０’は、前記対象者が頭をＬａｔｅｒａｌ方向に回転するように情報を提供することができる。
又は、前記頭方向提供部１１５０’は、前記対象者が頭をＲＡＬＰ又はＬＡＲＰ方向に回転するように情報を提供することができる。
このとき、前記頭方向提供部１１５０’は、前記対象者が頭の右側が正面に向かう状態で頭を上又は下側にのみ回転するように情報を提供することができる。また、前記頭方向提供部１１５０’は、前記対象者が頭の左側が正面に向かう状態で頭を上又は下側にのみ回転するように情報を提供することができる。
また、前記頭方向提供部１１５０’は、前記対象者が頭を回転させた後に予め設定された時間内に頭を回転させる前の状態に復元するように情報を提供することができる。一例として、前記頭方向提供部１１５０’は、１秒以内に頭を回転させた以後に頭を回転させる前の状態に復元するように情報を提供することができる。
前記頭方向提供部１１５０’は、前記情報をディスプレイ装置に視覚的に示すことができる。また、前記頭方向提供部１１５０’は、前記情報をオーディオ装置に出力することができる。
前記フィードバック提供部１１６０’は、前記対象者の頭の動き及び眼球の動きに従ってフィードバック（Ｆｅｅｄｂａｃｋ）を提供することができる。
前記平衡リハビリテーションプロトコルによって前記対象者が頭を回転させなければならない角度の基準が予め決まることができる。前記フィードバック提供部１１６０’は、前記頭の動き生成部１１００’から生成された前記対象者の頭の回転角度と前記角度の基準を比較することができる。前記フィードバック提供部１１６０’は、前記対象者の頭の回転角度が前記角度の基準を満たす場合、聴覚的フィードバック及び／又は視覚的フィードバックを提供することができる。また、前記フィードバック提供部１１６０’は、前記対象者の頭の回転角度が前記角度の基準を満たすことができない場合、聴覚的フィードバック及び／又は視覚的フィードバックを提供することができる。前記フィードバック提供部１１６０’は、前記対象者の頭の回転角度が前記角度の基準を満たすか否かによって互いに異なるフィードバックを提供することができる。
また、前記眼球の動き生成部１１１０’は、眼球注視ベクトルを利用してディスプレイ装置上に前記対象者の視線が向かう注視点の座標情報を生成することができる。前記フィードバック提供部１１６０’は、前記眼球の動き生成部１１１０’から生成された注視点の座標情報と前記仮想のターゲット２０９の座標情報とを比較することができる。
前記注視点の座標が前記仮想のターゲット２０９の領域内部に位置するとき、前記フィードバック提供部１１６０’は、前記仮想のターゲット２０９の色相値を変更することができる。また、前記フィードバック提供部１１６０’は、前記仮想のターゲット２０９内部に前記注視点をさらに示すことができる。
前記注視点の座標が前記仮想のターゲット２０９の領域外部に位置するとき、前記フィードバック提供部１１６０’は、前記注視点の位置をディスプレイ装置に示すことができる。
前記対象者を複数個のカメラで撮影するとき、前記頭の動き生成部１１００’及び眼球の動き生成部１１１０’は、以上で説明したように基準頭の動き及び基準眼球の動きと関連した情報を生成することができる。前記フィードバック提供部１１６０’は、前記基準頭の動き及び基準眼球の動きと関連した情報に従ってフィードバックを提供することができる。
図２０は、本明細書の一実施形態に係る平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行う平衡機能管理システムのブロック図である。
図２０を参照すれば、平衡機能管理システム１０’－３は、メモリ１００’、頭座標学習部１１０’、眼球座標学習部１２０’、眼球回転学習部１３０’、頭座標獲得部１４０’、眼球座標獲得部１５０’、位相変化獲得部１６０’、頭の動き生成部１１００’、眼球の動き生成部１１１０’、速度情報生成部１１２０’、平衡機能状態情報生成部１１３０’、ターゲット出力部１１４０’、頭方向提供部１１５０’、及びフィードバック提供部１１６０’を含むことができる。前記平衡機能管理システム１０’－３は、ゲイン値を生成して平衡機能異常有無による平衡機能リハビリテーションプログラムを提供することができる。
前記頭座標学習部１１０、１１０’、眼球座標学習部１２０、１２０’、眼球回転学習部１３０、１３０’、頭座標獲得部１４０、１４０’、眼球座標獲得部１５０、１５０’、位相変化獲得部１６０、１６０’、頭の動き生成部１１００、１１００’、眼球の動き生成部１１１０、１１１０’、速度情報生成部１１２０、１１２０’、平衡機能状態情報生成部１１３０、１１３０’、ターゲット出力部１１４０、１１４０’、頭方向提供部１１５０、１１５０’、及びフィードバック提供部１１６０、１１６０’は、算出及び様々な制御ロジックを実行するために本発明が属する技術分野に知られているプロセッサ、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路、レジスター、通信モデム、データ処理装置などを含むことができる。また、上述した制御ロジックがソフトウェアで実現されるとき、前記頭座標学習部１１０、１１０’、眼球座標学習部１２０、１２０’、眼球回転学習部１３０、１３０’、頭座標獲得部１４０、１４０’、眼球座標獲得部１５０、１５０’、位相変化獲得部１６０、１６０’、頭の動き生成部１１００、１１００’、眼球の動き生成部１１１０、１１１０’、速度情報生成部１１２０、１１２０’、平衡機能状態情報生成部１１３０、１１３０’、ターゲット出力部１１４０、１１４０’、頭方向提供部１１５０、１１５０’、及びフィードバック提供部１１６０、１１６０’は、プログラムモジュールの集合で実現されることができる。このとき、プログラムモジュールは、前記メモリ装置に保存され、プロセッサによって実行されることができる。
以下においては、本明細書による平衡機能管理システムを利用した平衡機能状態情報生成方法及び平衡機能リハビリテーション方法について開示する。ただし、本明細書による平衡機能状態情報生成方法及び平衡機能リハビリテーション方法を説明するに当たり、各構成要素に対する繰り返しの説明は省略する。
図２１は、本明細書の一実施形態に係る平衡機能状態情報生成方法のフローチャートである。
図２１を参照すれば、ステップＳ１０で少なくとも１つのプロセッサがｎ個の動画のフレーム画像を第１人工神経網モデルに入力して頭座標と関連した情報を獲得することができる。ｎ個の動画は、ｎ個のカメラで平衡機能状態検査を行う対象者を撮影した動画を意味することができる。ｎ個の動画のフレーム画像は、以上で説明したように順次に入力されることができ、ｎ個の動画に対する多重フレーム画像が入力されることができる。以後に、前記少なくとも１つのプロセッサがｎ個の動画に対する頭座標と関連した情報を第２人工神経網モデルに入力して瞳孔中心座標と関連した情報を獲得することができる。以後に、前記少なくとも１つのプロセッサがｎ個の動画に対する瞳孔中心座標と関連した情報を前記第３人工神経網モデルに入力して眼球の位相変化と関連した情報を獲得することができる。前記第１～第３人工神経網モデルの学習過程は以上で説明したので、繰り返しの説明は省略する。
ステップＳ１１において、前記少なくとも１つのプロセッサが頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を利用して頭及び眼球の動き情報を生成することができる。前記少なくとも１つのプロセッサは、第ｍ動画に対する頭及び眼球の動き情報をそれぞれ生成することができる。又は、前記少なくとも１つのプロセッサは、第ｍ動画に対する基準頭の動き情報及び基準眼球の動き情報をさらに生成することができる。
ステップＳ１２において、前記対象者の第ｍ動画で頭の動きが予め設定された臨界値以上であるとき、前記少なくとも１つのプロセッサは、第ｍ動画に対する頭及び眼球の動きの速度情報を生成することができる。また、前記対象者の基準頭の動きが予め設定された臨界値以上であるとき、前記少なくとも１つのプロセッサは、第ｍ動画に対する頭及び眼球の動きの速度情報を生成することができる。
ステップＳ１３において、前記少なくとも１つのプロセッサは、前記［数式１］及び［数式２］を利用してゲイン値を計算することができる。前記少なくとも１つのプロセッサは、前記ゲイン値を利用して平衡機能状態情報を生成することができる。
図２２は、本明細書の一実施形態に係る平衡機能リハビリテーション方法のフローチャートである。
図２２を参照すれば、ステップＳ２０において少なくとも１つのプロセッサがｎ個の動画のフレーム画像を第１人工神経網モデルに入力して頭座標と関連した情報を獲得することができる。ｎ個の動画は、ｎ個のカメラで平衡機能リハビリテーションプログラムを行う対象者を撮影した動画を意味することができる。ｎ個の動画のフレーム画像は、以上で説明したように順次に入力されることができ、ｎ個の動画に対する多重フレーム画像が入力されることができる。以後に、前記少なくとも１つのプロセッサがｎ個の動画に対する頭座標と関連した情報を第２人工神経網モデルに入力して瞳孔中心座標と関連した情報を獲得することができる。以後に、前記少なくとも１つのプロセッサがｎ個の動画に対する瞳孔中心座標と関連した情報を前記第３人工神経網モデルに入力して眼球の位相変化と関連した情報を獲得することができる。前記第１～第３人工神経網モデルの学習過程は以上で説明したので、繰り返しの説明は省略する。
ステップＳ２１において、前記少なくとも１つのプロセッサが頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を利用して頭及び眼球の動き情報を生成することができる。前記少なくとも１つのプロセッサは、第ｍ動画に対する頭及び眼球の動き情報をそれぞれ生成することができる。また、前記少なくとも１つのプロセッサは、第ｍ動画に対する基準頭の動き情報及び基準眼球の動き情報をさらに生成することができる。前記少なくとも１つのプロセッサは、前記基準眼球の動き情報を利用して対象者の視線による注視点の座標情報を生成することができる。
ステップＳ２２において、前記少なくとも１つのプロセッサは仮想のターゲットをディスプレイで出力することができる。
ステップＳ２３において、前記少なくとも１つのプロセッサは、前記対象者に頭の回転方向に対する情報を提供することができる。前記頭の回転方向に対する情報は以上で説明したので、繰り返しの説明は省略する。
ステップＳ２４において、前記少なくとも１つのプロセッサは、頭及び眼球の動き情報を利用して前記対象者に聴覚的フィードバック及び／又は視覚的フィードバックを提供することができる。
前記平衡機能状態情報生成方法及び平衡機能リハビリテーション方法は、コンピュータで各ステップを行うように作成され、コンピュータで読み出し可能な記録媒体に記録されたコンピュータプログラムの形態で実現されることができる。前述のコンピュータプログラムは、前記コンピュータがプログラムを読み込んでプログラムで実現された前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを通じて読まれるＣ／Ｃ＋＋、Ｃ＃、ＪＡＶＡ（登録商標）、Ｐｙｔｈｏｎ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するために必要な機能を定義した関数などと関連した機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手続きどおり実行させるのに必要な実行手続き関連制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加情報やメディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス番地）で参照されなければならないかに対するメモリ参照関連コードをさらに含むことができる。また、前記コンピュータのプロセッサが前記機能を実行させるために遠隔（Ｒｅｍｏｔｅ）にある如何なる他のコンピュータやサーバーなどと通信が必要な場合、コードは前記コンピュータの通信モジュールを利用して遠隔にある如何なる他のコンピュータやサーバーなどとどのように通信しなければならないのか、通信時に如何なる情報やメディアを送受信しなければならないのかなどに対する通信関連コードをさらに含むことができる。
前記保存される媒体は、レジスター、キャッシュ、メモリなどのように、短い瞬間の間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、前記保存される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあるが、これに制限されない。すなわち、前記プログラムは、前記コンピュータが接続することができる様々なサーバー上の様々な記録媒体又は使用者の前記コンピュータ上の様々な記録媒体に保存されることができる。また、前記媒体は、ネットワークで連結されたコンピュータシステムに分散して、分散方式でコンピュータが読むことができるコードが保存されることができる。
以上、添付の図面を参照して本明細書の実施形態を説明したが、本明細書の属する技術分野における通常の技術者は、本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態で実施されることができるということを理解するであろう。そのため、以上で記述した実施形態はすべての面で例示的なものであり、制限的ではないものと理解しなければならない。
１０，１０’ 平衡機能管理システム、１００、１００’ メモリ、１１０、１１０’ 頭座標学習部、１２０、１２０’ 眼球座標学習部、１３０、１３０’ 眼球回転学習部、１４０、１４０’ 頭座標獲得部、１５０、１５０’ 眼球座標獲得部、１６０、１６０’ 位相変化獲得部、１１００、１１００’ 頭の動き生成部、１１１０、１１１０’ 眼球の動き生成部、１１２０、１１２０’ 速度情報生成部、１１３０、１１３０’ 平衡機能状態情報生成部、１１４０、１１４０’ ターゲット出力部、１１５０、１１５０’ 頭方向提供部、１１６０、１１６０’ フィードバック提供部。

Claims (19)

  1. 少なくとも１つ以上のプロセッサと、
    前記プロセッサで遂行可能な命令を保存し、コンピューティングデバイスで実行される少なくとも１つの人工神経網モデルを保存したメモリと、
    を備え、
    前記少なくとも１つのプロセッサがｎ（自然数）個のカメラを通して対象者を撮影したｎ個の動画のフレーム画像を少なくとも１つの人工神経網モデルに入力して、第ｍ（１からｎまでの自然数）動画のフレーム画像の順による対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報のうち少なくとも１つを獲得し、
    前記情報を利用して平衡機能状態情報生成及び平衡機能リハビリテーションプログラム遂行のための頭の動き及び眼球の動きと関連した情報を生成し、
    第ｍ動画のフレーム画像は、前記対象者の目を含む顔を撮影したフレーム画像であり、
    前記少なくとも１つ以上のプロセッサは、
    前記メモリに保存された第１人工神経網モデルを実行させ、第ｍ動画のフレーム画像又はｎ個の動画のフレーム画像を連結した多重フレーム画像を前記第１人工神経網モデルに入力して、第ｍ動画による頭座標と関連した情報を獲得する頭座標獲得部と、
    前記メモリに保存された第２人工神経網モデルを実行させ、前記頭座標と関連した情報を前記第２人工神経網モデルに入力して、第ｍ動画による瞳孔中心座標と関連した情報を獲得する眼球座標獲得部と、
    前記メモリに保存された第３人工神経網モデルを実行させ、前記第ｍ動画のフレーム画像又は多重フレーム画像の時間順による瞳孔座標と関連した情報を前記第３人工神経網モデルに入力して、第ｍ動画による眼球の位相変化と関連した情報を獲得する位相変化獲得部と、を含む、
    ことを特徴とする平衡機能管理システム。
  2. 前記第１人工神経網モデルは、
    前記少なくとも１つのプロセッサによって、人の顔が撮影された少なくとも１つの動画のフレーム画像又は複数個の動画のフレーム画像が連結された多重フレーム画像から抽出された顔の特徴点及び特徴点の座標を学習データとして利用して学習された人工神経網モデルである、
    ことを特徴とする請求項１に記載の平衡機能管理システム。
  3. 前記特徴点は、前記フレーム画像又は前記多重フレーム画像で予め設定された領域内に位置した特徴点であることを特徴とする、
    ことを特徴とする請求項２に記載の平衡機能管理システム。
  4. 前記第２人工神経網モデルは、前記少なくとも１つのプロセッサによって、人の顔が撮影された少なくとも１つの動画のフレーム画像又は複数個の動画のフレーム画像が連結された多重フレーム画像で眼球が含まれるように抽出された眼球領域画像を学習データとして利用して瞳孔中心の座標と関連した情報を生成するように学習された人工神経網モデルである、
    ことを特徴とする請求項１に記載の平衡機能管理システム。
  5. 前記少なくとも１つのプロセッサは、前記眼球領域画像で瞳孔が占める領域と残り領域が互いに異なるピクセル値を持つ瞳孔領域画像を生成し、前記瞳孔領域画像又は瞳孔領域画像のピクセル値の配列を学習データとして利用して、前記第２人工神経網モデルを学習させる、
    ことを特徴とする請求項４に記載の平衡機能管理システム。
  6. 前記少なくとも１つのプロセッサは、前記眼球領域画像で眼球の特徴点及び特徴点の座標情報を生成し、予め設定された複数個の特徴点の座標を利用して前記瞳孔中心の水平座標値及び垂直座標値を生成するように前記第２人工神経網モデルを学習させる、
    ことを特徴とする請求項４に記載の平衡機能管理システム。
  7. 前記メモリは、少なくとも１つの仮想オブジェクトのデータを保存し、
    前記第２人工神経網モデルは、
    前記少なくとも１つのプロセッサによって、仮想オブジェクトの頭回転、眼球回転及びカメラ設定と関連したパラメーターのうち少なくとも１つを変更したパラメーター値及び前記パラメーター値に従って獲得した仮想オブジェクトの画像を含む学習データを利用して、瞳孔中心の座標と関連した情報を生成するように学習された人工神経網モデルである、
    ことを特徴とする請求項１に記載の平衡機能管理システム。
  8. 前記第３人工神経網モデルは、
    前記少なくとも１つのプロセッサによって、人の顔が撮影された動画のフレーム画像又は複数個の動画のフレーム画像を連結した多重フレーム画像で眼球が含まれるように抽出された眼球領域画像の時間順によって生成された眼球位相変化と関連した情報を学習データとして利用して眼球の回転値を生成するように学習された人工神経網モデルである、
    ことを特徴とする請求項１に記載の平衡機能管理システム。
  9. 前記第３人工神経網モデルは、
    前記少なくとも１つのプロセッサによって、前記人の顔が撮影された動画の各フレーム画像又は多重フレーム画像でそれぞれの動画のフレーム画像に対応する眼球領域画像の間に虹彩が占める領域のピクセル値を比較した情報を利用して学習された人工神経網モデルである、
    ことを特徴とする請求項８に記載の平衡機能管理システム。
  10. 前記少なくとも１つのプロセッサは、
    前記眼球領域画像で瞳孔が占める領域のサイズを計算し、先立つ眼球領域画像における瞳孔が占める領域のサイズを利用してターゲット眼球領域画像のサイズを調節する、
    ことを特徴とする請求項８に記載の平衡機能管理システム。
  11. 前記少なくとも１つ以上のプロセッサは、
    前記第１人工神経網モデルで生成された頭座標と関連した情報を利用して、第ｍ（１からｎまでの自然数）動画における頭の動きと関連した情報を生成する頭の動き生成部と、
    前記第２人工神経網モデルで生成された瞳孔中心座標、及び、前記第３人工神経網モデルで生成された眼球の位相変化と関連した情報を利用して、第ｍ動画における眼球の動きと関連した情報を生成する眼球の動き生成部と、
    前記頭の動き及び眼球の動きと関連した情報を利用して、第ｍ動画における頭と眼球の動き速度と関連した情報を生成する速度情報生成部と、
    頭及び眼球の動き速度と関連した情報を利用して対象者の平衡機能の状態情報を生成する平衡機能状態情報生成部と、
    を含むことを特徴とする請求項１～請求項１０の何れか一項に記載の平衡機能管理システム。
  12. 前記速度情報生成部は、頭の動きが予め設定された臨界値以上になる時点を基準に予め設定された時間内における頭の動き速度及び眼球の動き速度と関連した情報を生成する、
    ことを特徴とする請求項１１に記載の平衡機能管理システム。
  13. 前記平衡機能状態情報生成部は、頭の動き速度が最大になる時間値及び眼球の動き速度が最大になる時間値を利用してゲイン値を計算する、
    ことを特徴とする請求項１１に記載の平衡機能管理システム。
  14. ｎが２以上であるとき、
    前記頭の動き生成部は、
    第ｍ動画による頭座標と関連した情報の統計値を算出して基準頭の動き情報をさらに生成し、
    前記眼球の動き生成部は、
    第ｍ動画による瞳孔中心座標及び眼球の位相変化と関連した情報の統計値を算出して基準眼球の動き情報をさらに生成する、
    ことを特徴とする請求項１１に記載の平衡機能管理システム。
  15. 前記少なくとも１つ以上のプロセッサは、
    前記第１人工神経網モデルから獲得した頭座標と関連した情報を利用して、第ｍ（１からｎまでの自然数）動画における頭の動き情報を生成する頭の動き生成部と、
    前記第２人工神経網モデルから獲得した瞳孔中心座標、及び、前記第３人工神経網モデルから獲得した眼球の位相変化と関連した情報を利用して、第ｍ動画における眼球の動き情報を生成する眼球の動き生成部と、
    ディスプレイ装置に仮想のターゲットを出力するターゲット出力部と、
    対象者に頭の動きに対する方向情報を提供する頭方向提供部と、
    前記対象者の頭の動き及び眼球の動きによってフィードバックを提供するフィードバック提供部と、を含む、
    ことを特徴とする請求項１～請求項１０の何れか一項に記載の平衡機能管理システム。
  16. 少なくとも１つ以上のプロセッサ及び前記プロセッサで遂行可能な命令を保存し、コンピューティングデバイスで実行される少なくとも１つの人工神経網モデルを保存したメモリを含む平衡機能管理システムにおいて、
    前記少なくとも１つのプロセッサがｎ（自然数）個のカメラを通して対象者を撮影したｎ個の動画のフレーム画像を少なくとも１つの人工神経網モデルに入力して、第ｍ（１からｎまでの自然数）動画のフレーム画像の順による対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を獲得する情報獲得ステップと、
    前記少なくとも１つのプロセッサが前記情報獲得ステップで生成された情報を利用して頭の動き情報及び眼球の動き情報を生成し、頭の動き速度及び眼球の動き速度を算出し、前記頭の動き速度及び眼球の動き速度と関連した情報を利用して平衡機能の状態と関連した情報を生成する平衡機能状態情報生成ステップと、を含み、
    第ｍ動画のフレーム画像は、前記対象者の目を含む顔を撮影したフレーム画像であり、
    前記少なくとも１つの人工神経網モデルは、
    前記メモリに保存された第１人工神経網モデルを実行させ、第ｍ動画のフレーム画像又はｎ個の動画のフレーム画像を連結した多重フレーム画像を前記第１人工神経網モデルに入力して、第ｍ動画による頭座標と関連した情報を獲得する頭座標獲得部と、
    前記メモリに保存された第２人工神経網モデルを実行させ、前記頭座標と関連した情報を前記第２人工神経網モデルに入力して、第ｍ動画による瞳孔中心座標と関連した情報を獲得する眼球座標獲得部と、
    前記メモリに保存された第３人工神経網モデルを実行させ、前記第ｍ動画のフレーム画像又は多重フレーム画像の時間順による瞳孔座標と関連した情報を前記第３人工神経網モデルに入力して、第ｍ動画による眼球の位相変化と関連した情報を獲得する位相変化獲得部と、を含む、
    ことを特徴とする平衡機能状態情報生成方法。
  17. 少なくとも１つ以上のプロセッサ及び前記プロセッサで遂行可能な命令を保存し、コンピューティングデバイスで実行される少なくとも１つの人工神経網モデルを保存したメモリを含む平衡機能管理システムにおいて、
    前記少なくとも１つのプロセッサがｎ（自然数）個のカメラを通して対象者を撮影したｎ個の動画のフレーム画像を少なくとも１つの人工神経網モデルに入力して、第ｍ（１からｎまでの自然数）動画のフレーム順による対象者の頭座標、瞳孔中心座標及び眼球の位相変化と関連した情報を獲得する情報獲得ステップと、
    前記少なくとも１つのプロセッサが前記情報獲得ステップで生成された情報を利用して頭の動き情報及び眼球の動き情報を生成し、対象者の頭及び眼球の動きを追跡して平衡機能リハビリテーションプログラムを行う平衡機能リハビリテーションステップと、を含み、
    第ｍ動画のフレーム画像は、前記対象者の目を含む顔を撮影したフレーム画像であり、
    前記少なくとも１つの人工神経網モデルは、
    前記メモリに保存された第１人工神経網モデルを実行させ、第ｍ動画のフレーム画像又はｎ個の動画のフレーム画像を連結した多重フレーム画像を前記第１人工神経網モデルに入力して、第ｍ動画による頭座標と関連した情報を獲得する頭座標獲得部と、
    前記メモリに保存された第２人工神経網モデルを実行させ、前記頭座標と関連した情報を前記第２人工神経網モデルに入力して、第ｍ動画による瞳孔中心座標と関連した情報を獲得する眼球座標獲得部と、
    前記メモリに保存された第３人工神経網モデルを実行させ、前記第ｍ動画のフレーム画像又は多重フレーム画像の時間順による瞳孔座標と関連した情報を前記第３人工神経網モデルに入力して、第ｍ動画による眼球の位相変化と関連した情報を獲得する位相変化獲得部と、を含む、
    ことを特徴とする平衡機能リハビリテーション方法。
  18. コンピュータで請求項１６に記載の平衡機能状態情報生成方法の各ステップを行うように作成され、コンピュータで読み出し可能な記録媒体に記録されたコンピュータプログラム。
  19. コンピュータで請求項１７に記載の平衡機能リハビリテーション方法の各ステップを行うように作成され、コンピュータで読み出し可能な記録媒体に記録されたコンピュータプログラム。
JP2024179367A 2024-08-05 2024-10-11 動画で眼球及び頭囲変化を追跡して平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行うための平衡機能管理システム及び方法、これを実現するためのプログラムが保存された記録媒体及び記録媒体に保存されたコンピュータプログラム Active JP7759070B1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2024-0104115 2024-08-05
KR1020240104114A KR20260020770A (ko) 2024-08-05 2024-08-05 동영상에서 안구 및 두위 변화를 추적하여 평형 기능 상태 정보 생성 및 평형 기능 재활 프로그램을 수행하기 위한 평형 기능 관리 시스템 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 기록매체에 저장된 컴퓨터프로그램
KR1020240104115A KR20260020771A (ko) 2024-08-05 2024-08-05 동영상에서 안구 및 두위 변화를 추적하여 평형 기능 상태 정보 생성 및 평형 기능 재활 프로그램을 수행하기 위한 인공 신경망 모델 기반의 평형 기능 관리 시스템 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 기록매체에 저장된 컴퓨터프로그램
KR10-2024-0104114 2024-08-05

Publications (2)

Publication Number Publication Date
JP7759070B1 true JP7759070B1 (ja) 2025-10-23
JP2026027160A JP2026027160A (ja) 2026-02-18

Family

ID=95250588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024179367A Active JP7759070B1 (ja) 2024-08-05 2024-10-11 動画で眼球及び頭囲変化を追跡して平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行うための平衡機能管理システム及び方法、これを実現するためのプログラムが保存された記録媒体及び記録媒体に保存されたコンピュータプログラム

Country Status (3)

Country Link
US (1) US20260038112A1 (ja)
EP (1) EP4693333A1 (ja)
JP (1) JP7759070B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005319027A (ja) 2004-05-07 2005-11-17 St Marianna Univ School Of Medicine めまいリハビリテーション評価装置
JP2021041067A (ja) 2019-09-13 2021-03-18 株式会社モリタ製作所 推定装置、推定システム、推定方法、および推定用プログラム
JP2023058161A (ja) 2021-10-13 2023-04-25 株式会社モリタ製作所 データ処理装置、眼球運動データ処理システム、データ処理方法、およびプログラム
JP2025036125A (ja) 2023-08-29 2025-03-14 インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ ビデオ映像の眼球および頭位変化を追跡する超高速軽量ディープラーニングモデルを利用しためまい診断装置、方法、これを実現するためのプログラムが保存された記録媒体および記録媒体に保存されたコンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040107677A (ko) * 2003-06-09 2004-12-23 김덕원 영상 안진기와 전기 안진기를 결합한 안구 운동 측정 시스템
US9370302B2 (en) * 2014-07-08 2016-06-21 Wesley W. O. Krueger System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment
US11612316B2 (en) * 2019-06-20 2023-03-28 Awss Zidan Medical system and method operable to control sensor-based wearable devices for examining eyes
CN120380439A (zh) * 2022-12-21 2025-07-25 学生实验室有限公司 用于训练眼睛状态预测器的系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005319027A (ja) 2004-05-07 2005-11-17 St Marianna Univ School Of Medicine めまいリハビリテーション評価装置
JP2021041067A (ja) 2019-09-13 2021-03-18 株式会社モリタ製作所 推定装置、推定システム、推定方法、および推定用プログラム
JP2023058161A (ja) 2021-10-13 2023-04-25 株式会社モリタ製作所 データ処理装置、眼球運動データ処理システム、データ処理方法、およびプログラム
JP2025036125A (ja) 2023-08-29 2025-03-14 インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ ビデオ映像の眼球および頭位変化を追跡する超高速軽量ディープラーニングモデルを利用しためまい診断装置、方法、これを実現するためのプログラムが保存された記録媒体および記録媒体に保存されたコンピュータプログラム

Also Published As

Publication number Publication date
JP2026027160A (ja) 2026-02-18
EP4693333A1 (en) 2026-02-11
US20260038112A1 (en) 2026-02-05

Similar Documents

Publication Publication Date Title
US12033432B2 (en) Determining digital markers indicative of a neurological condition
US11911147B1 (en) Body sway measurement system
CN114391117A (zh) 眼睛跟踪延迟增强
WO2022022551A1 (zh) 具有隐私保护功能的运动障碍评估录像分析方法及设备
De Almeida et al. Computational methodology for automatic detection of strabismus in digital images through Hirschberg test
US12614619B2 (en) Monitoring and optimization of human-device interactions
US12217424B2 (en) Determining digital markers indicative of a neurological condition using eye movement parameters
CN112183160A (zh) 视线估计方法及装置
WO2024222146A1 (zh) 一种三维眼动检测方法和分析系统
CN118072385A (zh) 一种基于视频步态分析的帕金森病评估方法
JP7759070B1 (ja) 動画で眼球及び頭囲変化を追跡して平衡機能状態情報生成及び平衡機能リハビリテーションプログラムを行うための平衡機能管理システム及び方法、これを実現するためのプログラムが保存された記録媒体及び記録媒体に保存されたコンピュータプログラム
JP7777313B2 (ja) ビデオ映像の眼球および頭位変化を追跡する超高速軽量ディープラーニングモデルを利用しためまい診断装置、方法、これを実現するためのプログラムが保存された記録媒体および記録媒体に保存されたコンピュータプログラム
KR20260020770A (ko) 동영상에서 안구 및 두위 변화를 추적하여 평형 기능 상태 정보 생성 및 평형 기능 재활 프로그램을 수행하기 위한 평형 기능 관리 시스템 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 기록매체에 저장된 컴퓨터프로그램
KR20260020771A (ko) 동영상에서 안구 및 두위 변화를 추적하여 평형 기능 상태 정보 생성 및 평형 기능 재활 프로그램을 수행하기 위한 인공 신경망 모델 기반의 평형 기능 관리 시스템 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 기록매체에 저장된 컴퓨터프로그램
JP7617994B2 (ja) 三次元再構成に基づく眼位ずれ角度の測定方法及び装置
JP3686418B2 (ja) 計測装置およびその方法
KR20240117998A (ko) 뇌파 데이터를 이용하여 훈련된 스코어링 학습 모델을 이용하여 사용자의 집중력을 판단하는 방법
Islam et al. Evaluating neurorehabilitation exercises captured with commodity sensors and machine-learning framework
CN120163931B (zh) 一种三维虹膜重建及展开方法
US12621427B2 (en) Methods and systems for visual field testing using dynamic light point grids in virtual reality
US20260060530A1 (en) Methods and systems for assessing ocular health through vr interaction with multidimensional shapes
US20260060540A1 (en) Methods and systems for evaluating binocular vision in photorealistic virtual reality environments
US20260060523A1 (en) Methods and systems for testing peripheral vision in a virtual reality environment
US20260060524A1 (en) Methods and systems for assessing visual field loss using interactive virtual reality maps
US12582333B1 (en) Body sway measurement system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251002

R150 Certificate of patent or registration of utility model

Ref document number: 7759070

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150