JP7496982B2 - 情報処理装置、特定方法及びプログラム - Google Patents

情報処理装置、特定方法及びプログラム Download PDF

Info

Publication number
JP7496982B2
JP7496982B2 JP2020086916A JP2020086916A JP7496982B2 JP 7496982 B2 JP7496982 B2 JP 7496982B2 JP 2020086916 A JP2020086916 A JP 2020086916A JP 2020086916 A JP2020086916 A JP 2020086916A JP 7496982 B2 JP7496982 B2 JP 7496982B2
Authority
JP
Japan
Prior art keywords
data
gaze
unit
movement
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020086916A
Other languages
English (en)
Other versions
JP2021180716A (ja
Inventor
保裕 渡辺
一剛 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tottori University NUC
Original Assignee
Tottori University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tottori University NUC filed Critical Tottori University NUC
Priority to JP2020086916A priority Critical patent/JP7496982B2/ja
Publication of JP2021180716A publication Critical patent/JP2021180716A/ja
Application granted granted Critical
Publication of JP7496982B2 publication Critical patent/JP7496982B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Description

本発明は、情報処理装置、特定方法及びプログラムに関する。
患者が、神経疾患の有無又は神経疾患の種別を特定する方法は、頭部MRI等多数存在する。
特許文献1には、視覚刺激を表示部より患者に呈示し、その刺激に対する患者の注視点の情報に基づいて患者が神経疾患を患っているかどうかを判断する方法が開示されている。
特願2016-552133号公報
ところで、神経疾患の種別を簡単に特定できることが望まれる。
本発明では上記事情を鑑み、神経疾患の種別を特定することが可能な情報処理装置、特定方法及びプログラムを提供することとした。
本発明の一態様によれば、情報処理装置であって、取得部と、特定部とを備え、前記取得部は、文書を読んでいる被検者の視線の動きを取得可能に構成され、前記特定部は、前記取得した視線の動きが、視線運動データのうち、いずれの症例に該当するかを特定可能に構成され、前記視線運動データは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものである、ものが提供される。
このような情報処理装置によれば、神経疾患の患者を容易に特定することができる。
情報処理装置3及びそれに付随する装置を含むシステム100の模式図である。 情報処理装置3のハードウェア構成を示すブロック図である。 情報処理装置3における制御部33が担う機能を示す機能ブロック図である。 被検者2の視線の動きから取得した視線運動6及び視線運動データGの一例である。 被検者2が読むテスト文書D1の一例である。 テスト文書D1を用いて対照実験をした結果である。図6Aは、対照区であるコントロール画像DCを表す図である。図6Bは、実験区である多系統萎縮症画像DMを表す図である。 神経疾患を特定する特徴量FQ及び特徴FTを記した特徴量一覧Fである。 第1視線データGD1の一例である。 第2視線データGD2の一例である。 神経疾患の特定方法に用いられる前処理の一例である。 被検者2が読むテスト文書D2の一例である。 健常者及び多系統萎縮症の検査結果を表す図である。図12Aは、健常者のコントロール画像ECを表す図である。図12Bは、多系統萎縮症画像EMを表す図である。 パーキンソン病及び進行性核上性麻痺の検査結果を表す図である。図13Aは、パーキンソン病画像EDを表す図である。図13Bは、進行性核上性麻痺画像ESを表す図である。 実施形態に係る神経疾患の特定方法の一例を表すアクティビティ図である。 実施形態に係る神経疾患の特定方法の一例を表すサブアクティビティ図である。図15Aは、視線の動きに関するデータの取得方法(A01)のサブアクティビティ図である。図15Bは、特徴の取得方法(A02)のサブアクティビティ図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
1.全体構成
本章では、本実施形態に係る情報処理装置について説明する。図1は、情報処理装置3及びそれに付随する装置を含むシステム100の模式図である。
図1に示されるように、情報処理装置3は、視線計測装置4及びマイクロホン5と一緒に使用される。視線計測装置4及びマイクロホン5は外付けされる機器であっても良いし、情報処理装置3に内蔵されていてもよい。これらの装置を用いて、被検者2の視線の動きを分析して神経疾患の検査が行われる。神経疾患の対象は、パーキンソン病、多系統萎縮症/脊髄小脳変性症、進行性核上性麻痺、及び大脳皮質基底核症候群等であるが、これらに限らない。以下、情報処理装置3の構成要素についてさらに詳述する。
図2は、情報処理装置3のハードウェア構成を示すブロック図である。図3は、情報処理装置3における制御部33が担う機能を示す機能ブロック図である。情報処理装置3は、通信部31と、記憶部32と、制御部33と、表示部34と、入力部35とを有し、これらの構成要素が情報処理装置3の内部において通信バス30を介して電気的に接続されている。以下、各構成要素についてさらに説明をする。
(通信部31)
通信部31は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。即ち、これら複数の通信手段の集合として実施することがより好ましい。特に、外付けされる視線計測装置4及びマイクロホン5とは、所定の通信規格において通信可能に構成されることが好ましい。
(記憶部32)
記憶部32は、前述の記載により定義される様々な情報を記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部32は、視線計測装置4及びマイクロホン5が検出したデータを記憶する。また、記憶部32は、取得プログラム、特定プログラム、特徴設定プログラム、特徴取得プログラム、時間測定プログラム、生成プログラム、変換プログラム、前処理プログラム、結果保存プログラム、及び表示制御プログラムを記憶する。また、記憶部32は、これ以外にも制御部33によって実行される情報処理装置3に係る種々のプログラム等を記憶している。
記憶部32は、視線運動データGを記憶する。ここで視線運動データGは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものである。換言すると視線運動データGは、視線の動きをトラッキングしたデータから座標点を抽出したものであり、症例毎に分類された視線の動きを含む関連するデータである。視線運動データGは、健常者及び神経疾患患者から集められる。視線運動データGは、視線計測装置4から通信部31を介して受信したデータであってもよいし、別の装置で取得した記憶媒体に記憶されたデータであってもよい。図4は、被検者2の視線の動きから取得した視線運動6及び視線運動データGの一例である。視線運動6は、被検者2が表示部34を見ているときの視点をトラッキングしたものである。視線運動6は、注視点61と接続線62を有する。注視点61は、被検者2が文書を読んでいる間、視線が所定の時間以上停止した点、所定の時間以上停止した領域の中心座標、又は、所定時間毎における視線に対応する座標である。接続線62は、連続する2つの注視点61を接続した線である。換言すると、接続線62は、被検者2が視線を移動した軌跡である。図4では、検査中の視線運動6を表示部34に表示させているが、表示させなくてもよい。
視線運動データGに含まれるNoは、注視点61を時系列に並べた順序である。視線運動データGに含まれるX及びYは、注視点61の表示部34における座標点である。ここで座標系は、画像座標系であってもよいし、物理座標系であってもよい。座標系は限定しない。
(制御部33)
制御部33は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部33は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部33は、記憶部32に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。具体的には取得機能、特定機能、特徴設定機能、特徴取得機能、時間測定機能、生成機能、変換機能、前処理機能、結果保存機能、及び表示制御機能が該当する。即ち、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されることで、取得部331、特定部332、特徴設定部333、特徴取得部334、時間測定部335、生成部336、変換部337、前処理部338、結果保存部339、及び表示制御部33aとして実行されうる。なお、図2においては、単一の制御部33として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部33を有するように実施してもよい。またそれらの組合せであってもよい。
(表示部34)
表示部34は、例えば、情報処理装置3の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部34は、ユーザーが操作可能なグラフィカルユーザーインターフェース(Graphical User Interface:GUI)の画面を表示する。これは例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報処理装置3の種類に応じて使い分けて実施することが好ましい。当該表示デバイスは、制御部33における表示制御部33aの制御信号に応答して、表示画面を選択的に表示しうる。例えば、テスト文書D1、検査結果(不図示)等をユーザーが視認可能に表示することができる。
(入力部35)
入力部35は、情報処理装置3の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部35は、表示部34と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザーは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、QWERTYキーボード等を採用してもよい。すなわち、入力部35がユーザーによってなされた操作入力を受け付ける。また、入力部35は、情報処理装置3の筐体に内蔵される、又は外付けされる視線計測装置4及びマイクロホン5を含む。これらの装置によって、ユーザーは、被検者2の視線の動き及び音声を情報処理装置3に入力することができる。当該入力が信号として通信バス30を介して制御部33に転送され、制御部33が必要に応じて所定の制御や演算を実行しうる。
2.機能構成
本章では、本実施形態の機能構成について説明する。図3に示されるように、制御部33は、取得部331と、特定部332と、特徴設定部333と、特徴取得部334と、時間測定部335と、生成部336と、変換部337と、前処理部338と、結果保存部339と、表示制御部33aとを備える。以下、各構成要素についてさらに説明する。
(取得部331)
取得部331は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。取得部331は、視線計測装置4及びマイクロホン5が検出した電気的データを、通信部31を介して取得するように構成されている。
取得部331は、文書を読んでいる被検者2の視線の動きを取得可能に構成される。視線の動きは、被検者2が文書を読んでいるときの、被検者2の眼球運動に起因する動きである。図5は、被検者2が読むテスト文書D1の一例である。眼球運動を検出する方法は種々あるが、本実施形態では、視線計測装置4が被検者2の注視している視点をトラッキングし、その結果を電気的データに変換したものを取得部331が取得する。また、取得部331は、被検者2の発声した音声を取得可能に構成されてもよい。
(特定部332)
特定部332は、取得した視線の動きが、視線運動データGのうち、いずれの症例に該当するかを特定可能に構成される。ここで、視線運動データGは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものである、図6は、テスト文書D1を用いて対照実験をした結果である。図6Aは、対照区であるコントロール画像DCを表す図である。図6Bは、実験区である多系統萎縮症画像DMを表す図である。図6A及び図6Bに示されるように、健常者の視線運動6と多系統萎縮症患者の視線運動6には異なる特徴が見られる。同様に、他の神経疾患患者の視線運動6においても固有の傾向がある。このような傾向の違いに基づいて、特定部332は、被検者2が健常者であるか神経疾患患者であるかを特定することができる。さらに、被検者2がどのような神経疾患を患っているかを特定することができる。
(特徴設定部333)
特徴設定部333は、視線運動データGに対応する複数の症例毎に特徴FTを設定可能に構成される。図7は、神経疾患を特定する特徴量FQ及び特徴FTを記した特徴量一覧Fである。これらの特徴量FQは一例であり、図7に記載されているものに限定されない。特徴FTは、特徴量一覧Fに記載されているように、特徴量FQから得られた注視点61の数、接続線62の数等である。さらに、特徴FTは、これら特徴量FQを複数組合せて生成した合成数も含む。例えば、注視点61の数と接続線62の長さの平均値を掛け合わせた値が合成数に含まれる。特徴設定部333は、このような特徴FTを、神経疾患の症例毎に設定する。
(特徴取得部334)
特徴取得部334は、取得した被検者2の視線の動きから特徴FTを取得可能に構成される。被検者2が神経疾患を患っているのか否か、また、神経疾患を患っている場合には神経疾患の種別を特定するために、特徴取得部334は、被検者2の視線の動きから特徴FTを取得する。特定部332は、被検者2から取得した特徴FT及び設定された特徴FTに基づいて、取得した視線の動きが、視線運動データGのうち、いずれの症例に該当するかを特定可能に構成される。被検者2の特徴FTが健常者の特徴FTの標本に属する場合、被検者2は健常者であると特定される。一方、被検者2の特徴FTが、例えば、多系統萎縮症の特徴FTの標本に属する場合、被検者2は、多系統萎縮症であると特定される。
(時間測定部335)
被検者2の神経疾患の有無又は神経疾患の種別を特定する精度を高めるには、より多くの特徴量FQが必要となる。そのため時間測定部335は、被検者2が文書を読んでいる間の時間を測定可能に構成される。文字を注視している時間や視線を動かす視線移動速度に神経疾患固有の傾向がある場合、被検者2が文書を読んでいる間の時間を測定することは有効である。
(生成部336)
生成部336は、特徴取得部334が取得した種々の特徴FT、例えば、被検者2の視線の動き、検査中の測定時間、及び被検者2が読んでいるテスト文書D1の文字から二次データを生成する。以下、各二次データについて説明する。
図8は、第1視線データGD1の一例である。生成部336は、取得した視線の動きと、測定した時間とを紐付けた第1視線データGD1を生成可能に構成される。被検者2が特定の文字を注視している時間や特定の文字の間の視線運動6の速度等を算出するため、取得した視線の動きと、測定した時間が紐付けられている。同様に、神経疾患患者の視線運動データGも、視線の動きと、測定した時間が紐付けられている。換言すると、視線運動データGは、被検者2又は神経疾患患者を含む人物が文書を読んでいた間の時間を含んでいる。また、本実施形態では、視線運動データGは、人物が前記文書を音読した際における視線の動きであってもよい。
第1視線データGD1は、開始時刻、終了時刻、注視時間、及び移動時間を含む。開始時刻は、被検者2の視線が注視点61への注視を開始した時刻である。終了時刻は、被検者2の視線が注視点61への注視を終了した時刻である。注視時間は、開始時刻から終了時刻までの時間である。移動時間は、ある注視点61の終了時刻から次の注視点61の開始時刻までの時間である。ここで、第1視線データGD1に含まれる時間の単位は秒である。なお、時間の単位はこれに限定されない。
図9は、第2視線データGD2の一例である。生成部336は、取得した視線の動きと、変換したテキストデータとを紐付けた第2視線データGD2を生成可能に構成される。被検者2が特定の文字を読んでいる間、文字と視線の位置関係の傾向は、神経疾患によって異なる。ここで位置関係とは、読んでいる文字に対して、注視点61が上下左右どこに位置するかを表すものである。多系統萎縮症/脊髄小脳変性症の患者には、視線を意図した場所に動かせないという傾向がある。そのため被検者2がどの神経疾患を患っているかを特定するために、第2視線データGD2は有効である。
第2視線データGD2に記載されている発音文字は、被検者2が読んだテスト文書D1内の文字である。Xc及びYcは、読んだ文字の重心の表示部34の座標点である。距離は、注視点61から読んだ文字の重心までの距離である。
(変換部337)
変換部337は、取得した音声をテキストデータに変換可能に構成される。変換部337は、被検者2が発した音声を認識し、音声をテキストデータに変換する。変換部337は、自動的に音声をテキストデータに変換してもよいし、ユーザーが被検者2の音声を聞きながらテキストデータに変換してもよい。なお、ユーザーは、音声をテキストデータに変換した結果を編集することができる。
(前処理部338)
前処理部338は、取得した被検者2の視線の動きから特徴FTに寄与する動きを抽出可能に構成される。被検者2の視線の動きに関するデータは、被検者2の意図しない動きも含んでいる。このようなデータ、特に外れ値は、特定部332が被検者2の神経疾患の有無又は神経疾患の特定をする精度を下げる恐れがある。そのため前処理部338は、ノイズデータを予め除去する。
図10は、神経疾患の特定方法に用いられる前処理の一例である。前処理として、接続線L1の端点P1が全ての注視点61の重心GCから所定の距離以上にあり、接続線L1と、接続線L1と連続する接続線L2の各長さが所定の長さ以上である場合、端点P1を外れ値としてもよい。このとき、前処理部338は、端点P1に接続している接続線L1及び接続線L2を削除し、代わりに接続線M1を設定する。このように、外れ値である端点P1を削除するが、手法はこれに限定されるものではない。
(結果保存部339)
結果保存部339は、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。結果保存部339は、情報処理装置3の利用に関するデータを記憶部32に保存する。例えば、結果保存部339は、被検者2の視線運動データG、取得した特徴FTに関するデータ、及び検査結果を記憶部32に保存する。
(表示制御部33a)
表示制御部33aは、ソフトウェア(記憶部32に記憶されている)による情報処理がハードウェア(制御部33)によって具体的に実現されているものである。表示制御部33aは、テスト文書D1を表示部34に表示させる。表示制御部33aは、被検者2が情報処理装置3を使用している間の視線運動データG、検査結果(不図示)等を表示部34に表示させる。視線運動データGは、検査中のみならず、検査後も表示部34に表示させることができる。
3.検査について
本章では、被検者2から取得した視線の動きに基づいて、いずれの症例に該当するか特定する検査について説明する。
3.1 検査前の準備
ユーザーは、被検者2を検査する前に、結果保存部339を実行し、複数の神経疾患の患者の視線運動データGを記憶部32に記憶する。視線運動データGは、神経疾患の患者がテスト文書D2を読んでいるときにおける視線の動きを、症例毎に記憶したものである。結果保存部339は、同様に健常者の視線運動データGも記憶部32に記憶する。また、ユーザーは、時間測定部335及び生成部336を実行し、視線の動きにテスト文書D2を読んでいる間の時間を紐付けてもよく、取得部331及び変換部337を実行し、音読中に取得した音声を変換したテキストデータを紐付けてもよい。
3.2 検査方法
被検者2は、表示部34に表示された文書を読む。図11は、被検者2が読むテスト文書D2の一例である。このようにテスト文書D2は、「あいうえお」を単に五十音順に並べた文書でもよい。なお、テスト文書D2に記載された文字の大きさ及び色は任意であり、テスト文書D2の背景色は、文字の色と異なることが好ましい。文書は、横書き文書と縦書き文書を含んでもよい。例えば、進行性核上性麻痺の患者は、病気の初期より、視線を上下方向に動かすことが困難であることが多い。そのため、横書き文書及び縦書き文書を検査に用いることにより、視線を上下方向に動かすことが困難な患者の特定を容易にすることができる。
テスト文書D2の文字は日本語に限らず、英語、フランス語であってもよい。言語は問わない。またテスト文書D2は、数字や記号を含んでいてもよい。検査中に、表示制御部33aは、テスト文書D2を表示部34に全文表示する必要はなく、部分的に表示してもよい。
被検者2にテスト文書D2を読ませるときは、音読及び黙読のどちらでもよい。なお、音読の方が、目視に加えて音声を発するという処理により、脳への負荷が大きくなるため、特徴FTが顕著に現れると思われる。さらに、音読させる場合には、視線に加えて音声に関するデータを取得することができる。例えば、被検者2に横書きの文書を3回読ませた後、縦書きの文書を3回読ませてもよい。そして、テスト文書D2を読んだときの注視点61と接続線62につき、横書きの文書と縦書きの文書毎に合成してもよい。これは実施例であり、同じ文書を複数回読ませてもよく、異なる文書を複数回読ませてもよい。
3.3 検査結果
ここでは、被検者2が、テスト文書D2を3回読んでいる間に取得部331が取得した被検者2の視線の動きについて説明する。図12は、図11に示される縦書き文書を読ませた場合における、健常者及び多系統萎縮症の検査結果を表す図である。図12Aは、健常者のコントロール画像ECを表す図である。図12Bは、多系統萎縮症画像EMを表す図である。多系統萎縮症の患者の視線運動6の傾向として、滑動性眼球運動が衝動的になる、又は視線を意図した場所に動かせない等の症状がある。そのため、多系統萎縮症患者の注視点61の数は、健常者の注視点61の数よりも多い。多系統萎縮症の患者の滑動性眼球運動が衝動的であることが、多系統萎縮症画像EMに反映されている。また、健常者の視線運動6と比べて、多系統萎縮症患者の視線運動6の方が、図9に示される距離が大きくなる傾向がある。多系統萎縮症患者は、視線を意図した場所に動かしにくいことが、多系統萎縮症画像EMに反映されている。
図13は、図11に示される縦書き文書を読ませた場合における、パーキンソン病及び進行性核上性麻痺の検査結果を表す画像の図である。図13Aは、パーキンソン病画像EDを表す図である。パーキンソン病患者の視線運動6の傾向として、眼球の動き(例:滑動性運動、衝動性運動)は疾患の進行とともに障害が進むという症状がある。そのため、パーキンソン病患者の視線運動6は、健常者の視線運動6と比べて図9に示される距離が大きくなる傾向がある。図13Bは、進行性核上性麻痺画像ESを表す図である。進行性核上性麻痺患者の視線運動6の傾向として、病気の初期より視線を垂直(上下)方向に動かすことが困難となるという症状がある。そのため、テスト文書D2が縦書きにも関わらず、進行性核上性麻痺の視線運動6は、上下に統一的に軌跡が形成されず、全方位に発散している。
4.神経疾患の特定についての説明
被検者2が、健常者であるか、神経疾患患者であるかの特定、及び神経疾患の種別を特定する方法を以下に説明する。健常者及び神経疾患患者の視線の動きの特徴FTはそれぞれ異なりる。また、健常者及び神経疾患患者の類型ごとに特徴FTは共通の傾向がある。そのため、健常者及び神経疾患患者の類型ごとの特徴FTの標本は、特定の確率分布に従う。そのため、被検者2の視線の動きから上述した特徴FTを算出し、算出した特徴FTがどの特徴FTの確率分布に属するか、特定部332が統計的手法に基づいて特定する。
図12及び図13に示したように、検査結果の画像は神経疾患の症例毎に固有の傾向がある。そのため、画像処理によるパターンマッチングにより、特定部332が神経疾患の種別を特定してもよい。この場合、被検者2の視線運動6に対応する画像と、予め記憶した視線運動データGのうち、複数の症例を表す画像と、をパターンマッチングにより照合することにより、被検者2の視線運動6がいずれの症例に該当するのかを特定することができる。
なお、ディープラーニングを用いて、被検者2が健常者であるか神経疾患患者であるかの特定、及び神経疾患の種別を特定してもよい。ディープラーニングを用いる場合には、大規模なラベル付けされたデータとニューラルネットワークの構造を利用して学習を行うことにより、視線運動データGから特徴量FQ及び特徴FTを学習することができる。入力するデータは、視線運動データGでもよく、コントロール画像EC及び多系統萎縮症画像EMのようなデータであってもよい。
5.特定方法
本章では、上述で説明した情報処理装置3を用いた神経疾患の特定方法について説明する。特定方法は、取得ステップと、特定ステップとを備える。取得ステップでは、テスト文書D1を読んでいる被検者2の視線の動きを取得する。特定ステップでは、取得した視線の動きが、視線運動データGのうち、いずれの症例に該当するかを特定する。視線運動データGは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものである。具体的に、この特定方法を説明する。
5.1 テスト文書D1を用いた神経疾患の特定方法
本節では、テスト文書D1を用いた神経疾患の特定方法の一例を説明する。図14は、実施形態に係る神経疾患の特定方法の一例を表すアクティビティ図である。
[ここから]
(アクティビティA01)
被検者2を検査するために、取得部331は、被検者2の視線の動きに関するデータを取得する。
(アクティビティA02)
特徴取得部334は、取得した被検者2の視線の動きから特徴FTを取得する。
(アクティビティA03)
特定部332は、被検者2から取得した特徴FTと、神経疾患患者に予め設定された特徴FTに基づいて、取得した視線の動きが、神経疾患患者の視線運動データGのうち、いずれの症例に該当するかを特定する。
(アクティビティA04)
表示制御部33aは、検査した結果を表示部34に表示する。
(アクティビティA05)
結果保存部339は、検査した結果を記憶部32に記憶する。
[ここまで]
5.2 視線の動きに関するデータの取得方法
本節では、視線の動きデータの取得方法の一例について説明をする。図15は、実施形態に係る神経疾患の特定方法の一例を表すサブアクティビティ図である。図15Aは、視線の動きに関するデータの取得方法(A01)の一例を表すサブアクティビティ図である。
[ここから]
(サブアクティビティA11)
取得部331は、被検者2の視線の動きに関するデータの取得を開始する。
(サブアクティビティA12)
取得部331は、テスト文書D1を読んでいる被検者2の視線の動きを取得する。
(サブアクティビティA13)
時間測定部335は、被検者2がテスト文書D1を読んでいる間の時間を測定する。
(サブアクティビティA14)
取得部331は、被検者2の発した音声を取得する。
(サブアクティビティA15)
変換部337は、音声をテキストデータに変換する。
(サブアクティビティA16)
取得部331は、被検者2の視線の動きデータの取得を終了する。
[ここまで]
5.3 特徴FTの取得方法
本節では、特徴FTの取得方法の一例について説明をする。図15Bは、特徴FTの取得方法(A02)の一例を表すサブアクティビティ図である。
[ここから]
(サブアクティビティA21)
特徴設定部333は、被検者2の視線の動きの特徴FTの取得を開始する。
(サブアクティビティA22)
生成部336は、取得した被検者2の視線の動きと、測定した時間とを紐付けた第1視線データGD1を生成する。
(サブアクティビティA23)
生成部336は、取得した被検者2の視線の動きと、変換したテキストデータとを紐付けた第2視線データGD2を生成する。
(サブアクティビティA24)
前処理部338は、取得した被検者2の視線の動きから特徴FTに寄与する動きを抽出するための前処理を実行する。
(サブアクティビティA25)
特徴設定部333は、視線運動データG、第1視線データGD1及び第2視線データGD2から、特徴FTを取得し、処理を終了する。
[ここまで]
テスト文書D1を用いた神経疾患の特定方法では、頭部MRI手法、脳血流SPECT手法、MIBG心筋シンチグラフィ手法、及びDATスキャン手法と比べて、検査時間が短く、安価で行える。検査にあたり、音声及び音読のダブルタスクをさせることで、神経疾患の患者の脳への負荷が増え、症状が顕著に現れる。また、テスト文書D1を読んでいる間、音声を取得することにより、視線に対して音読している文字がどのくらい進んでいるかを把握することができる。神経疾患の症状毎に視線と音読しているテキストの位置に違いがあるため、症例を特定する精度が高くなる。
神経疾患が進んでいくと、被検者2の視線運動6にも変化が現れるため、疾患の進行状況を把握できる。例えば、パーキンソン病の患者の眼球の動き(例:滑動性運動、衝動性運動)は疾患の進行とともに障害が進むため、本特定方法で進行状況を把握することができる。逆に、神経疾患が治癒すると、本特定方法で回復状況も把握することができる。ユーザーが同一のテスト文書D1を用いて、被検者2の神経疾患を特定する場合、検査結果に再現性が現れる。一方、検査毎に、テスト文書D1の文書の内容やテキストの大きさ等を変えることで、被検者2は、過去に検査した経験とは無関係に検査される。そのため本特定方法は、学習効果が働かない。
6.変形例
本章では、情報処理装置3に係る変形例について説明する。即ち、下記のような態様によって前述の実施形態を実施してもよい。
(1)テスト文書D1及びテスト文書D2の特定文字に他の文字と異なる色を付けてもよい。特定文字を読むと脳への負荷が大きくなり、その負荷が被検者2の視線運動6に反映される。
(2)ユーザーがテスト文書D1及びテスト文書D2の特定文字をポインターで示し、被検者2がトラッキングをして、特定文字の色が変わったときに音読させてもよい。特定文字を読むことによる脳の特定領域の負荷が被検者2の視線運動6に反映される。
(3)プログラムであって、コンピュータを情報処理装置3として機能させるものが提供されてもよい。
7.結言
このように、テスト文書を黙読又は音読させることで、発話の障害や滑動性眼球運動に障害のある神経疾患の患者を十分に特定することができる情報処理装置を提供することができる。さらに、検査を継続的に行うことで、神経疾患の進行状況も把握できる。治療薬の投与の判定にも活かすことができる。
次に記載の各態様で提供されてもよい。
前記情報処理装置において、特徴設定部をさらに備え、前記特徴設定部は、前記視線運動データに対応する複数の症例毎に特徴を設定可能に構成される、もの。
前記情報処理装置において、特徴取得部をさらに備え、前記特徴取得部は、取得した前記被検者の視線の動きから特徴を取得可能に構成され、前記特定部は、前記取得した特徴及び前記設定された特徴に基づいて、前記取得した視線の動きが、前記視線運動データのうち、いずれの症例に該当するかを特定可能に構成される、もの。
前記情報処理装置において、前記文書は、横書き文書と縦書き文書を含む、もの。
前記情報処理装置において、時間測定部と、生成部とをさらに備え、前記時間測定部は、前記被検者が前記文書を読んでいる間の時間を測定可能に構成され、前記生成部は、前記取得した前記視線の動きと、前記測定した時間とを紐付けた第1視線データを生成可能に構成される、もの。
前記情報処理装置において、変換部をさらに備え、前記取得部は、前記被検者の発声した音声を取得可能に構成され、前記変換部は、前記音声をテキストデータに変換可能に構成され、前記生成部は、前記取得した前記視線の動きと、前記変換した前記テキストデータとを紐付けた第2視線データを生成可能に構成される、もの。
前記情報処理装置において、前記視線運動データは、人物が前記文書を読んでいた間の時間を含む、もの。
前記情報処理装置において、前記視線運動データは、人物が前記文書を音読した際における視線の動きである、もの。
前記情報処理装置において、特徴取得部と、前処理部とを備え、前記特徴取得部は、取得した前記被検者の視線の動きから特徴を取得可能に構成され、前記前処理部は、前記取得した前記被検者の視線の動きから前記特徴に寄与する動きを抽出可能に構成される、もの。
特定方法であって、取得ステップと、特定ステップとを備え、前記取得ステップでは、文書を読んでいる被検者の視線の動きを取得し、前記特定ステップでは、前記取得した視線の動きが、視線運動データのうち、いずれの症例に該当するかを特定し、前記視線運動データは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものである、方法。
プログラムであって、コンピュータを、前記情報処理装置の各部として機能させるもの。
もちろん、この限りではない。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100 :システム
2 :被検者
3 :情報処理装置
30 :通信バス
31 :通信部
32 :記憶部
33 :制御部
331 :取得部
332 :特定部
333 :特徴設定部
334 :特徴取得部
335 :時間測定部
336 :生成部
337 :変換部
338 :前処理部
339 :結果保存部
33a :表示制御部
34 :表示部
35 :入力部
4 :視線計測装置
5 :マイクロホン
6 :視線運動
61 :注視点
62 :接続線
D1 :テスト文書
D2 :テスト文書
DC :コントロール画像
DM :多系統萎縮症画像
EC :コントロール画像
ED :パーキンソン病画像
EM :多系統萎縮症画像
ES :進行性核上性麻痺画像
F :特徴量一覧
FQ :特徴量
FT :特徴
G :視線運動データ
GC :重心
GD1 :第1視線データ
GD2 :第2視線データ
L1 :接続線
L2 :接続線
M1 :接続線
P1 :端点

Claims (12)

  1. 情報処理装置であって、
    取得部と、特定部と、変換部と、生成部とを備え、
    前記取得部は、文書を読んでいる被検者の視線の動きと、前記被検者の発声した音声とを取得可能に構成され、
    前記特定部は、前記取得した視線の動きが、視線運動データのうち、いずれの症例に該当するかを特定可能に構成され、
    前記視線運動データは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものであ
    前記変換部は、前記音声をテキストデータに変換可能に構成され、
    前記生成部は、前記取得した前記視線の動きと、前記変換した前記テキストデータとを紐付けた第2視線データを生成可能に構成される、
    もの。
  2. 請求項1に記載の情報処理装置において、
    特徴設定部をさらに備え、
    前記特徴設定部は、前記視線運動データに対応する複数の症例毎に特徴を設定可能に構成される、
    もの。
  3. 請求項2に記載の情報処理装置において、
    特徴取得部をさらに備え、
    前記特徴取得部は、取得した前記被検者の視線の動きから特徴を取得可能に構成され、
    前記特定部は、前記取得した特徴及び前記設定された特徴に基づいて、前記取得した視線の動きが、前記視線運動データのうち、いずれの症例に該当するかを特定可能に構成される、
    もの。
  4. 請求項1~請求項3の何れか1つに記載の情報処理装置において、
    前記文書は、横書き文書と縦書き文書を含む、
    もの。
  5. 請求項1~請求項4の何れか1つに記載の情報処理装置において、
    時間測定部をさらに備え、
    前記時間測定部は、前記被検者が前記文書を読んでいる間の時間を測定可能に構成され、
    前記生成部は、前記取得した前記視線の動きと、前記測定した時間とを紐付けた第1視線データを生成可能に構成される、
    もの。
  6. 請求項1~請求項5の何れか1つに記載の情報処理装置において、
    前記視線運動データは、人物が前記文書を読んでいた間の時間を含む、
    もの。
  7. 情報処理装置であって、
    取得部と、特定部とを備え、
    前記取得部は、文書を読んでいる被検者の視線の動きを取得可能に構成され、
    前記特定部は、前記取得した視線の動きが、視線運動データのうち、いずれの症例に該当するかを特定可能に構成され、
    前記視線運動データは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものであり、人物が前記文書を音読した際における視線の動きである、
    もの。
  8. 情報処理装置であって、
    取得部と、特定部と、特徴取得部と、前処理部とを備え、
    前記取得部は、文書を読んでいる被検者の視線の動きを取得可能に構成され、
    前記特定部は、前記取得した視線の動きが、視線運動データのうち、いずれの症例に該当するかを特定可能に構成され、
    前記視線運動データは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものであり、
    前記特徴取得部は、取得した前記被検者の視線の動きから特徴を取得可能に構成され、
    前記前処理部は、前記取得した前記被検者の視線の動きから前記特徴に寄与する動きを抽出可能に構成される、
    もの。
  9. 情報処理装置が実行する特定方法であって、
    取得ステップと、特定ステップと、変換ステップと、生成ステップとを備え、
    前記取得ステップでは、文書を読んでいる被検者の視線の動きと、前記被検者の発声した音声とを取得し、
    前記特定ステップでは、前記取得した視線の動きが、視線運動データのうち、いずれの症例に該当するかを特定し、
    前記視線運動データは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものであり、
    前記変換ステップでは、前記音声をテキストデータに変換し、
    前記生成ステップでは、前記取得した前記視線の動きと、前記変換した前記テキストデータとを紐付けた第2視線データを生成する、
    方法。
  10. 情報処理装置が実行する特定方法であって、
    取得ステップと、特定ステップとを備え、
    前記取得ステップでは、文書を読んでいる被検者の視線の動きを取得し、
    前記特定ステップでは、前記取得した視線の動きが、視線運動データのうち、いずれの症例に該当するかを特定し、
    前記視線運動データは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものであり、人物が前記文書を音読した際における視線の動きである、
    方法。
  11. 情報処理装置が実行する特定方法であって、
    取得ステップと、特定ステップと、特徴取得ステップと、前処理ステップとを備え、
    前記取得ステップでは、文書を読んでいる被検者の視線の動きを取得し、
    前記特定ステップでは、前記取得した視線の動きが、視線運動データのうち、いずれの症例に該当するかを特定し、
    前記視線運動データは、文書を読んでいるときにおける人物の視線の動きを、複数の症例毎に記憶したものであり、
    前記特徴取得ステップでは、取得した前記被検者の視線の動きから特徴を取得し、
    前記前処理ステップでは、前記取得した前記被検者の視線の動きから前記特徴に寄与する動きを抽出する、
    方法。
  12. プログラムであって、
    コンピュータを、請求項1~請求項8のいずれか1つに記載の情報処理装置の各部として機能させるもの。
JP2020086916A 2020-05-18 2020-05-18 情報処理装置、特定方法及びプログラム Active JP7496982B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020086916A JP7496982B2 (ja) 2020-05-18 2020-05-18 情報処理装置、特定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020086916A JP7496982B2 (ja) 2020-05-18 2020-05-18 情報処理装置、特定方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021180716A JP2021180716A (ja) 2021-11-25
JP7496982B2 true JP7496982B2 (ja) 2024-06-10

Family

ID=78605982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020086916A Active JP7496982B2 (ja) 2020-05-18 2020-05-18 情報処理装置、特定方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7496982B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004337348A (ja) 2003-05-15 2004-12-02 New Opto Corp 眼球運動解析システム
WO2019106678A1 (en) 2017-11-30 2019-06-06 Viewmind S.A. System and method for detecting neurological disorders and for measuring general cognitive performance
JP2020000483A (ja) 2018-06-28 2020-01-09 株式会社アルム 認知症診断装置、および認知症診断システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004337348A (ja) 2003-05-15 2004-12-02 New Opto Corp 眼球運動解析システム
WO2019106678A1 (en) 2017-11-30 2019-06-06 Viewmind S.A. System and method for detecting neurological disorders and for measuring general cognitive performance
JP2020000483A (ja) 2018-06-28 2020-01-09 株式会社アルム 認知症診断装置、および認知症診断システム

Also Published As

Publication number Publication date
JP2021180716A (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
US20210202090A1 (en) Automated health condition scoring in telehealth encounters
Samad et al. A feasibility study of autism behavioral markers in spontaneous facial, visual, and hand movement response data
US11699529B2 (en) Systems and methods for diagnosing a stroke condition
EP2698112B1 (en) Real-time stress determination of an individual
WO2015037089A1 (ja) 脳機能障害評価方法、脳機能障害評価装置およびそのプログラム
CN116594495A (zh) 用于促进多项选择答案的直接选择和状态变化的识别的脑机接口
CN110033867B (zh) 融合多元干预路径的认知障碍干预系统及方法
KR101854812B1 (ko) 시청각 콘텐츠와 생체신호 분석을 활용한 정신증상 평가 시스템
US11412978B2 (en) Information processing system and program
Liapis et al. Stress in interactive applications: analysis of the valence-arousal space based on physiological signals and self-reported data
Hill et al. Critical issues using brain-computer interfaces for augmentative and alternative communication
WO2017037487A1 (en) Method for detecting parkinson's disease in a user using data input keyboard of an electronic device
CN111631704A (zh) 基于心电与脑电信息结合的糖尿病前期检测系统和方法
JP2017140424A (ja) 脳機能障害評価方法、脳機能障害評価装置およびそのプログラム
Federici et al. Bio-behavioral and Self-report User Experience Evaluation of a Usability Assessment Platform (UTAssistant).
Liu et al. aiMSE: Toward an AI-based online mental status examination
Sabio et al. A scoping review on the use of consumer-grade EEG devices for research
CN117425431A (zh) 心电图解析辅助装置、程序、心电图解析辅助方法、以及心电图解析辅助系统
JP7496982B2 (ja) 情報処理装置、特定方法及びプログラム
Gupta StrokeSave: a novel, high-performance mobile application for stroke diagnosis using deep learning and computer vision
US20200037911A1 (en) Intention decoding apparatus and intention conveyance assist apparatus
CN109717831B (zh) 一种基于触控手势的非干扰式神经系统疾病辅助检测系统
US20220392624A1 (en) Apparatus and method for providing artificial intelligence based virtual reality psychological test service
US20230018077A1 (en) Medical information processing system, medical information processing method, and storage medium
US20240041371A1 (en) Method, system, and computer-readable medium for providing depression preliminary diagnosis information by using machine learning model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240521

R150 Certificate of patent or registration of utility model

Ref document number: 7496982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150