JP7355969B1 - 情報処理システム、情報処理方法、プログラム - Google Patents

Abstract

【課題】ユーザの顔表情を含む顔画像情に基づき、遅発性ジスキネジア様症状の推定を行い、ユーザに関する遅発性ジスキネジア様症状情報を生成することが可能となり、容易に遅発性ジスキネジア様症状を推定可能な情報処理システムを提供することができる。【解決手段】本発明の情報処理システムは、撮像部により撮像されたユーザの顔画像情報を取得する画像取得部と、取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報を生成する遅発性ジスキネジア様症状情報生成部と、を備える。【選択図】図１

Description

本発明は、遅発性ジスキネジア様症状情報の検出のための情報処理システム、情報処理方法、プログラムに関する。

遅発性ジスキネジアは、例えば抗精神病薬使用後の副作用として出現することがあり、全身における不随意運動を特徴とする疾患であり、その出現率は日本においては約２．７～６．５％といわれている。大半の遅発性ジスキネジア患者は、顔（特に口部）に不随意運動の症状を呈し、症状の程度によっては誤嚥や窒息を引き起こすこともあり得る。

例えば、特許文献１においては、遅発性ジスキネジアを治療するための組成物に関する発明が記載されている。

特許第４５６２９１１号公報

しかしながら、遅発性ジスキネジアは、医師が問診している環境下では不随意運動の症状の発見が難しい。加えて、類似する他疾患との区別が難しいため医師側に十分な知見が無ければ発見が難しい。したがって、デジタルツール活用により容易に遅発性ジスキネジア様症状を推定可能とすることが求められている。

本発明は、容易に遅発性ジスキネジア様症状を推定可能な情報処理システムを提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、撮像部により撮像されたユーザの顔画像情報を取得する画像取得部と、取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報を生成する遅発性ジスキネジア様症状情報生成部と、を備え、前記顔画像情報は、顔の部位の器官点情報に基づき算出された前記ユーザの顔表情を構成する各部位の形状情報又は動き情報を含む。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

本発明によれば、容易に遅発性ジスキネジア様症状を推定可能な情報処理システムを提供することができる。

本実施形態に係る情報処理システムの全体構成例を示す図である。 サーバ装置１０のハードウェア構成例を示す図である。 サーバ装置１０のソフトウェア構成例を示す図である。 ユーザ情報記憶部１３１の構成例を示す図である。 画像情報記憶部１３２の構成例を示す図である。 遅発性ジスキネジア様症状情報記憶部１３４の構成例を示す図である。 質問回答部１１４の構成例を示す図である。 本実施形態の情報処理システムにおいて実行される処理の流れを示す図である。

本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。

［項目１］
撮像部により撮像されたユーザの顔画像情報を取得する画像取得部 と、
取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報 を生成する遅発性ジスキネジア様症状情報生
成部と、を備える、情報処理システム。
［項目２］
前記遅発性ジスキネジア様症状情報生成部は、前記顔画像情報における前記ユーザの顔表情を構成する部位 に関連した特徴情報に基づき前記遅発性ジスキネジア様症状情報を
生成する、項目１に記載の情報処理システム。
［項目３］
前記遅発性ジスキネジア様症状情報は、前記取得した顔画像情報のうち遅発性ジスキネジア様症状に関連する顔画像情報だけを特定した特定顔画像情報 である、項目１または
２のいずれかに記載の情報処理システム。
［項目４］
前記特定顔画像情報を他の顔画像情報と判別可能に表示する表示情報生成部を備える、項目３に記載の情報処理システム。
［項目５］
少なくとも前記ユーザの遅発性ジスキネジア様症状に関する質問情報を含む一以上の質問情報を送信する質問情報送信部と、
前記質問情報に対応する回答情報の入力を受け付ける回答情報受信部と、
をさらに備え、
前記遅発性ジスキネジア様症状情報生成部は、取得した前記顔画像情報及び前記回答情報 に基づき、前記遅発性ジスキネジア様症状情報を生成する、項目１ないし４のいずれ
かに記載の情報処理システム。
［項目６］
少なくとも前記ユーザの遅発性ジスキネジア様症状に関する質問情報を含む一以上の質問情報を提示する質問情報送信部と、
前記質問情報に対応する回答情報の入力を受け付ける回答情報受信部と、
前記回答情報を送信する回答情報送信部 をさらに備える、項目１ないし４のいずれか
に記載の情報処理システム。
［項目７］
少なくとも前記質問情報の提示期間または前記回答情報の入力可能期間に前記顔画像情報を撮像することを前記撮像部に指示する撮像指示部をさらに備える 、項目５または６
のいずれかに記載の情報処理システム。
［項目８］
撮像に関連しない表示情報の表示期間に前記顔画像情報を撮像することを前記撮像部に指示する撮像指示部をさらに備える、項目１ないし６のいずれかに記載の情報処理システム。
［項目９］
前記撮像に関連しない表示情報は、遅発性ジスキネジア症状 に関連する情報を含む、
項目８に記載の情報処理システム。
［項目１０］
前記撮像に関連しない表示情報は、前記ユーザが操作可能なゲーム情報を含む、項目８または９のいずれかに記載の情報処理システム。
［項目１１］
前記撮像に関連しない表示情報は、前記ユーザにより選択可能な表示情報を含む、項目８ないし１０のいずれかに記載の情報処理システム。
［項目１２］
コンピュータの演算装置により、
撮像部により撮像されたユーザの顔画像情報を取得することと、
取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報を生成することとと、を実行する情報処理方法。
［項目１３］
撮像部により撮像されたユーザの顔画像情報を取得する画像取得機能部と、
取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報を生成する遅発性ジスキネジア様症状情報生成機能部と、をコンピュータにおいて実現する、プログラム。
［項目１４］
撮像部により撮像されたユーザの顔画像情報を取得する画像取得機能部と、
取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報を生成する遅発性ジスキネジア様症状情報生成機能部と、をコンピュータにおいて実現する、プログラムを記録したコンピュータ読み取り可能な記録媒体。

以下、本開示の実施の形態について、図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜システム構成＞
図１は、本開示の一実施形態に係る情報処理システム（以下、「本システム」とも呼ぶ）の構成例を示す図である。罹患者等のユーザの少なくとも顔を撮像部（例えばカメラ）で撮像し、撮像した画像（静止画像であっても動画像であってもよい。）から、ユーザの遅発性ジスキネジア様症状を推定する。

図１は、本実施形態に係る情報処理システムの全体構成例を示す図である。同図に示すように、本実施形態に係る情報処理システム１は、サーバ装置１０とユーザ端末２０とが通信ネットワークＮＷを介して互いに通信可能に接続されている。通信ネットワークＮＷは、例えば、インターネットやＬＡＮ（Local Area Network）であり、公衆電話回線網、専用電話回線網、携帯電話回線網、イーサネット（登録商標）、無線通信路等により構築される。

サーバ装置１０は、情報処理システム全体を管理するコンピュータであり、ユーザの遅発性ジスキネジア様症状を検出するコンピュータである。サーバ装置１０は、例えば、ワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより論理的に実現される仮想コンピュータ等である。サーバ装置１０は、ユーザ端末２０に備えられる撮像部が撮像した画像の画像情報を受信し、受信した画像情報を解析して遅発性ジスキネジア様症状の推定を行う。

ユーザ端末２０は、撮像部を備えたデバイスであって、スマートフォン、パーソナルコンピュータ、タブレット端末等が含まれる。なお、ユーザ端末２０は、アプリケーションプログラムをインストールさせることができ、ユーザ端末の演算装置によって、サーバ装置１０によって実行される全部または一部機能を実行させることもでき、また、サーバ装置１０に備えられる記憶装置１０３に格納される情報のうち全部または一部を、ユーザ端末２０に内蔵される記憶部に格納させることもできる。

次に、上記情報処理システム１の構成の詳細について説明する。

＜ハードウェア構成＞
図２は、本実施形態においてサーバ装置１０を実現するコンピュータのハードウェア構成例を示す図である。サーバ装置１０は、演算装置１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、入力装置１０５、出力装置１０６を備える。これらはバス（図示せず）を通じて相互に電気的に接続される。なお、上記のように、サーバ装置１０に含まれる記憶装置１０３等の装置及び演算装置１０１によって実行される機能の全部または一部を、ユーザ端末２０等の他の装置に備えさせる、または、実行させることができる。

演算装置１０１は、サーバ装置１０全体の動作を制御し、各要素間におけるデータの送受信の制御、およびアプリケーションの実行および認証処理に必要な情報処理等を行う。演算装置１０１は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサであり、記憶装置１０３に格納されメモリ１０２に展開
されたプログラム等を実行して各情報処理を実施する。

メモリ１０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１０２は、演算装置１０１のワークエリア等として使用される。また、サーバ装置１０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）および各種設定情報等を格納する。

記憶装置１０３は、各種のデータやアプリケーションプログラム等の各種プログラムを格納する。例えば、ハードディスクドライブやソリッドステートドライブ、フラッシュメモリ等である。

通信インタフェース１０４は、サーバ装置１０を通信ネットワークＮＷに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ１３２Ｃコネクタ等である。ネットワークに接続する。

入力装置１０５は、データを入力する、例えば、キーボードやマウス、タッチパネル、ボタン、マイクロフォン、カメラ（撮像部）等である。

出力装置１０６は、データを出力する、例えば、ディスプレイやプリンタ、スピーカ等である。

＜ソフトウェア構成＞
図３は、本実施形態においてサーバ装置１０のソフトウェア構成例を示す図である。同図に示すように、サーバ装置１０は、ユーザ情報管理部１１０、画像取得部１１１、遅発性ジスキネジア様症状情報生成部１１２の各機能部と、ユーザ情報記憶部１３１、画像情報記憶部１３２、遅発性ジスキネジア様症状学習モデル記憶部１３３、遅発性ジスキネジア様症状情報記憶部１３４の各記憶部とを備える。

なお、上記各機能部は、サーバ装置１０が備える演算装置１０１が記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより実現され、上記各記憶部は、サーバ装置１０が備えるメモリ１０２および記憶装置１０３が提供する記憶領域の一部として実現される。

ユーザ情報記憶部１３１は、ユーザ３０に関する情報を記憶する。図４は、ユーザ情報記憶部１３１の構成例を示す図である。同図に示すように、ユーザ情報記憶部１３１が記憶するユーザ情報には、ユーザ３０を特定するユーザＩＤに対応付けて、基本情報（氏名、住所、性別、年齢等の個人情報）、身長、体重等の身体に関する情報、遅発性ジスキネジア様症状に関連する病歴、進行等の情報が含まれる。

画像情報記憶部１３２は、ユーザ端末２０の撮像部が撮像した画像の顔画像情報を記憶する。図５は、画像情報記憶部１３２の構成例を示す図である。同図に示すように、画像情報記憶部１３２は顔画像情報を記憶し、顔画像情報には、画像ＩＤ及び撮像したユーザを特定するユーザＩＤに対応付けられる。画像情報は、撮像部が撮像した顔画像を表示するためのデータである。顔画像情報は、例えば、ＪＰＧ、ＧＩＦ、ＭＰ４、ＭＰＥＧ２、ＡＶＩ、ＭＯＶ等の任意の形式のデータとすることができる。また、顔画像情報として、画像そのものの情報に限らず、顔画像から得られる、ユーザの顔表情を構成する各部位（例えば、口、舌、顎、眉、眉間、鼻、耳などを含む）の形状情報や動き情報、これらの情報に伴い各部位の形状に沿って顔画像に一以上の印として付与する仮想マーカに関する情報を含むこともできる。なお、ユーザの顔表情を構成する各部位の形状情報や動き情報は、既知の顔画像解析技術を用いればよいが、例えば、既知の顔器官点検出技術を用いてもよく、Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ（ＡＳＭ）やＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ（ＡＡＭ）などを用いてもよい。特に顔の部位の器官点情報に基づきユーザの顔の各部位の形状や動きが算出（推定を含む）されてもよい。また、ユーザの顔表情を構成する各部位の形状情報や動き情報の生成は、本システム内の顔画像解析部（不図示）により実行されてもよいし、外部システムの顔画像解析部（不図示）へ送信して実行され、本システム（例えば画像情報記憶部１３２）へ返送されてもよい。

さらに、顔画像情報として、画像そのものの情報を記憶する（及び後述のとおり遅発性ジスキネジア様症状の判定等に利用する）ことに加えて、または、代えて、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ、敵対的生成ネットワーク）技術等により、本システムまたは外部システムで、ユーザ自身の顔ではない他の顔（ユーザ以外の他者の顔、または、イラストまたは三次元モデルによるアバターの顔であって、本システムまたは外部システムにより自動で設定された顔、若しくは、本システムまたは外部システムによりユーザ端末２０へ提示された顔画像からユーザ自身で選択した顔）に変換した変換顔画像を生成し、それを記憶してもよい。なお、本システム内部において、変換顔画像を生成する場合には、演算装置１０１の機能部として変換顔画像生成部（不図示）を備えるようにしてもよい。生成された顔画像は、表示情報生成部において表示画像を生成する際に、変換顔画像が表示されるようにすることで、ユーザ自身で症状を確認する際の抵抗感を減らすことが可能となる。また、後述するように、顔画像の撮影時においても、変換顔画像が表示されるようにしてもよいし、遅発性ジスキネジア様症状の判定に変換顔画像が用いられてもよい。

遅発性ジスキネジア様症状学習モデル記憶部１３３は、例えば画像による異常検知などに用いられるディープラーニングやルールベース型学習のような機械学習の手法により、少なくとも遅発性ジスキネジア罹患者（遅発性ジスキネジア様症状を伴う罹患者を含んでもよい）の不随意運動発現時の顔表情を含む顔画像を学習させた学習モデルを記憶する。すなわち、学習モデルは、遅発性ジスキネジア症状（遅発性ジスキネジア様症状を含む）の典型的な不随意運動の例である、「口（唇）をすぼめる（特に繰り返しすぼめる）」動作や「口（唇）をもぐもぐ動かす」動作、「口（唇）または舌を突き出す」動作、「舌を左右または不規則に動かす」動作、「舌なめずり」動作、「（特に目を閉じながら）眉間または鼻の上にしわを寄せる」動作、「歯を食いしばる」動作、「顎を前後に動かす」動作、「顎を回転するように動かす」動作などの顔表情の特徴的な動作を表す顔画像に基づき遅発性ジスキネジア症状罹患者の顔画像について学習する。なお、学習モデルは、遅発性ジスキネジア罹患者の不随意運動発現時の顔表情を含む顔画像に限らず、遅発性ジスキネジア罹患者の不随意運動発現時以外の顔画像や非遅発性ジスキネジア罹患者の顔画像（特に、発話時の顔画像や平常状態の顔画像、非遅発性ジスキネジア罹患者による症状模倣時の顔画像など）を学習に用いることで遅発性ジスキネジア様症状（遅発性ジスキネジアと診断された遅発性ジスキネジア症状も含む）を推定する、または、当該推定の精度を向上させるようにしてもよい。また、教師用の顔画像に加えて、または、代えて、上述のユーザの顔表情を構成する各部位の形状情報や動き情報、仮想マーカに関する情報を利用して学習モデルを学習してもよい。

遅発性ジスキネジア様症状情報記憶部１３４は、ユーザ３０の遅発性ジスキネジア様症状（遅発性ジスキネジアと診断された遅発性ジスキネジア症状も含む）を示す情報（以下、「遅発性ジスキネジア様症状情報」と呼ぶ。）を記憶する。図６は、遅発性ジスキネジア様症状情報記憶部１３４の構成例を示す図である。同図に示すように、遅発性ジスキネジア様症状情報として、各ユーザのユーザＩＤに対応して、遅発性ジスキネジア様症状の推定を行った推定日時、遅発性ジスキネジア様症状情報を含む。ここで、ユーザＩＤに対応して、複数の日時に対応する各推定結果情報を格納し、ユーザの過去の推定結果内容を参照することで、ユーザの遅発性ジスキネジア様症状の変遷を確認することができる。

ユーザ情報管理部１１０は、ユーザの遅発性ジスキネジア様症状の推定に際して、ユーザ端末２０の（図示しない）入力部を介するユーザまたは当該ユーザの補助者の入力操作に応じて、または、医師等の遅発性ジスキネジア様症状観察者が有する観察者端末（不図示）の入力部を介する観察者の入力操作に応じて、ユーザに関する情報の入力を受付け、ユーザ情報記憶部１３１に格納する。

画像取得部１１１は、ユーザの遅発性ジスキネジア様症状の推定に際し、ユーザ端末２０の撮像部によって撮像されたユーザの顔画像を含む画像情報を取得する。

遅発性ジスキネジア様症状情報生成部１１２は、遅発性ジスキネジア様症状学習モデル記憶部１３３に記憶された学習モデルを用いて、取得したユーザの顔表情を含む顔画像情報（または変換顔画像情報）からユーザの顔表情を構成する部位に関する特徴情報に基づく遅発性ジスキネジア様症状の推定を行い、ユーザに関する遅発性ジスキネジア様症状情報を生成する。なお、変換顔画像情報を用いて遅発性ジスキネジア様症状の推定を行う構成とする場合、変換顔画像は、遅発性ジスキネジア様症状学習モデルを学習させる際に用いられる教師用顔画像に含まれる人間と少なくとも一部の属性（年齢、年代（２０代、３０代など）、性別、顔形状、出生地域など）が同じ人間の顔画像であってもよい。また、遅発性ジスキネジア様症状情報生成部１１２に入力される顔画像情報（または変換顔画像情報）は、上述の仮想マーカが重畳されて表示された仮想マーカ顔画像情報を用いてもよい。

遅発性ジスキネジア様症状情報は、例えば、ユーザの顔画像情報のうち遅発性ジスキネジア様症状の顔表情が含まれていると推定される遅発性ジスキネジア様症状に関連する一以上の特定顔画像情報を含んでもよく、例えば、対象となる画像ＩＤが遅発性ジスキネジア様症状情報記憶部１３４にて記憶されて特定される特定顔画像情報であってもよく、特に所定期間内の顔画像情報（複数の静止画像情報または動画情報）においては、対象となる時間情報やフレームＩＤが遅発性ジスキネジア様症状情報記憶部１３４にて記憶されて特定される特定顔画像情報であってもよい。そのほか、遅発性ジスキネジア様症状情報生成部１１２は、対象の顔画像情報の画像ＩＤ等に紐づけて遅発性ジスキネジア様症状の発現を示す識別情報を付して遅発性ジスキネジア様症状情報記憶部１３４にて記憶されて特定される特定顔画像情報を遅発性ジスキネジア様症状情報として生成してもよい。

また、遅発性ジスキネジア様症状情報は、例えば、０から４までの５段階スコア（例えば、０、１、２、３、４のスコアで評価）のように遅発性ジスキネジア様症状の程度を示す評価情報を含んでもよい。

また、遅発性ジスキネジア様症状情報は、例えば、遅発性ジスキネジア様症状の推定における根拠情報が含まれていてもよく、例えば、ＧｒａｄＣＡＭなどの技術を用いて、推定の根拠となる部分に目印やヒートマップなどを付すなどして推定の根拠を可視化した画像情報を含んでもよいし、ユーザの顔表情を構成する部位の何れの部位を根拠にしたかを記載したテキスト情報を含んでいてもよい。

このように、遅発性ジスキネジア様症状情報を遅発性ジスキネジア様症状情報記憶部１３４に記憶することで、例えば医師等の遅発性ジスキネジア様症状観察者が有する観察者端末からサーバ装置１０へアクセスして遅発性ジスキネジア様症状観察者がユーザの遅発性ジスキネジア様症状の状態を把握するための参考情報として参照することが可能となる。また、遅発性ジスキネジア様症状観察者がサーバ装置１０へ直接アクセスする態様に代えて、または、加えて、ユーザ端末２０からサーバ装置１０へアクセスしてユーザ端末２０の表示部に表示される遅発性ジスキネジア様症状情報を観察者が確認したり、ユーザ端末２０から観察者端末へ送信して遅発性ジスキネジア様症状情報を観察者が確認したりするようにしてもよい。

表示情報生成部１１３は、ユーザ端末２０の表示部に所定の表示をするための表示情報（表示画像も含む）を生成する。なお、Ｗｅｂブラウザを介したＷｅｂサービスではなく、ユーザ端末２０上のアプリケーションにより所定の表示が制御される場合には、表示情報生成部１１３の一部または全部の機能をユーザ端末２０の演算処理部に備えるようにしてもよい。表示情報生成部１１３は、特定顔画像情報を他の顔画像情報と判別可能に表示する機能を有していてもよく、遅発性ジスキネジア様症状情報記憶部１３４に記憶される画像ＩＤや識別情報などに基づき特定顔画像情報を特定し、特定顔画像情報とそれ以外の顔画像情報が混在して表示される場合には、例えば、特定画像情報は他の顔画像情報と比較して強調して表示される（例えば、特定顔画像が色枠で囲われたり、所定のマークが付与されたり、拡大表示されたりなど）ようにしてもよいし、特定顔画像情報のみが表示される表示領域とそれ以外の顔画像情報が表示される表示領域を分けて表示したりしてもよい。また、表示情報生成部１１３は、特定顔画像情報のみを抽出して表示する機能を有していてもよい。特定顔画像情報及びそれ以外の顔画像情報は、他の顔に変換された変換顔画像情報であってもよい。

質問回答部１１４は、ユーザ端末２０へ質問回答関連情報記憶部１３５に記憶される質問情報を送信したり、ユーザ端末２０からの質問情報に対する回答情報を受信したり、当該回答情報をユーザＩＤに紐づけて質問回答関連情報記憶部１３５へ記憶したりなどを行う。図７に示されるように、質問回答部１１４は、質問情報送信部２１０、回答情報受信部２１１、回答情報送信部２１２を備える。

質問情報送信部２１０は、ユーザ端末２０へ質問回答関連情報記憶部１３５に記憶される質問情報を送信する。質問情報は、どのような内容の質問であってもよく、例えば入力が必要なユーザ情報に関連する質問であってもよいし、ユーザの遅発性ジスキネジア様症状に関する質問情報（例えば、症状の状況を確認する質問や、症状に対する認識の程度を確認する質問、服薬状況に関する質問など）であってもよいし、これらに限定されるものでもない。

回答情報受信部２１１は、ユーザ端末２０からの回答情報を受信したり、当該回答情報をユーザＩＤに紐づけて質問回答関連情報記憶部１３５へ記憶したりする。回答情報の受信は、どのような形式であってもよいが、例えば質問情報と共に提示される回答入力部（例えば入力フォームや選択タブ、プルダウンなど）に対するユーザ入力を介して行われてもよい。

回答情報送信部２１２は、ユーザ端末２０からの回答情報（例えば、質問回答関連情報記憶部１３５から読み出された回答情報）を情報処理装置外部へ送信する。情報処理装置外部とは、例えば、医師等の遅発性ジスキネジア様症状観察者が有する観察者端末やユーザ端末２０であってもよく、回答情報送信要求（例えば回答情報閲覧要求など）に応じて回答情報を送信するようにしてもよい。

このように、質問回答部１１４を備えることで、医師等の遅発性ジスキネジア様症状観察者は、遅発性ジスキネジア様症状情報生成部１１２により生成される遅発性ジスキネジア様症状情報（特に特定顔画像情報）の参照に加えて、ユーザの回答情報を参照することが可能となるため、より適切な判断が可能となる。

さらに、質問回答部１１４を備える場合、遅発性ジスキネジア様症状情報生成部１１２は、遅発性ジスキネジア様症状学習モデル記憶部１３３に記憶された学習モデルを用いて、取得したユーザの顔表情を含む顔画像情報からユーザの顔表情を構成する部位に関する特徴情報に基づく遅発性ジスキネジア様症状の推定を行うことに加えて、回答情報受信部２１１により受信した回答情報をさらに参照して、遅発性ジスキネジア様症状の推定の精度を高めるようにしてもよい。より具体的な例としては、質問情報がユーザの遅発性ジスキネジア様症状に関する質問情報（例えば、症状の状況を確認する質問や、症状に対する認識の程度を確認する質問、服薬状況に関する質問など）である場合に、既知の遅発性ジスキネジア症状の判断条件に関して学習した学習モデルをさらに備えて、または、既知の遅発性ジスキネジア症状の判断条件に対する回答内容に基づいて、遅発性ジスキネジア様症状に関する特定顔画像情報として選択する際の重みづけを変更するようにしてもよい。

撮像指示部１１５は、ユーザ端末２０が備える撮像部が起動されている場合に、ユーザの顔画像の撮像開始タイミングを指示する。撮像指示部１１５は、特に撮像に関連しない表示情報の表示期間に顔画像情報を撮像することを撮像部に指示する構成であることが好ましい。これについて、ユーザが自ら顔画像を撮像しようとした時に自らの顔表情に意識が集中してしまい、遅発性ジスキネジア様症状である不随意運動が発生しにくく、撮像した顔画像に遅発性ジスキネジア様症状が現れにくい場合があるという問題点を出願人が発見した。この問題点を解消するために、撮像に関連しない表示情報の表示期間に顔画像情報を撮像することで、撮像を意識せずに不随意運動が発生しやすくなる。より具体的な例としては、撮像に関連しない表示情報の表示期間は、例えば、上述の質問情報の提示期間または回答情報の入力可能期間を含んでいてもよいし、遅発性ジスキネジア症状に関連する情報（例えば、典型的な遅発性ジスキネジア症状に関する情報であったり、遅発性ジスキネジアの治療方法、治療薬に関する情報など）を提示する期間を含んでいてもよいし、少なくともテキスト情報を含む遅発性ジスキネジア症状に関連しない情報（例えば、時事ニュースに関する情報や、ユーザが選択した任意のＷｅｂページに含まれる情報など）を提示する期間を含んでいてもよいし、ユーザが操作可能なゲーム（例えば、対戦ゲーム、パズルゲーム、アクションゲーム、スポーツゲーム、クイズゲーム、カードゲーム、リズムゲームなど）を実行可能な期間を含んでいてもよいし、所定の情報を提示する動画情報（広告情報を含んでもよく、ユーザの選択に基づく任意の動画であってもよいし、予め設定された動画であってもよい）の再生期間を含んでいてもよいし、ユーザの顔が他の顔に変換された変換顔画像やこれに代えて、または、加えて、服装、背景などの顔以外の撮影領域が他のものに変換された画像を含む変換画像を提示する期間などを含んでいてもよい。また、撮像に関連しない表示情報は、ユーザにより選択可能な構成であってもよく、予め設定をしてユーザ情報としておいたり、ユーザ端末２０上のアプリケーションに設定情報として記憶しておいてもよい。

図８は、本実施形態の情報処理システムにおいて実行される処理の流れを示す図である。

まず、本処理の前処理として、サーバ装置１０のユーザ情報管理部１１０は、ユーザに関する情報入力を受付け、ユーザ情報をユーザ情報記憶部１３１に格納する。

次に、ステップＳ１０１として、画像取得部１１１は、ユーザ端末２０の撮像部によって撮像されたユーザの顔画像を含む画像情報を画像情報記憶部１３２から読み出すなどして、ユーザの顔画像情報を取得する。

次に、ステップＳ１０２として、遅発性ジスキネジア様症状情報生成部１１２は、遅発性ジスキネジア様症状学習モデル記憶部１３３に記憶された学習モデルを用いて、取得したユーザの顔表情を含む顔画像情報からユーザの顔表情に関する特徴情報に基づく遅発性ジスキネジア様症状の推定を行い、ユーザに関する遅発性ジスキネジア様症状情報を生成する。

以上のように、本実施形態によれば、ユーザの顔表情を含む顔画像情に基づき、遅発性ジスキネジア様症状の推定を行い、ユーザに関する遅発性ジスキネジア様症状情報を生成することが可能となり、容易に遅発性ジスキネジア様症状を推定可能な情報処理システムを提供することができる。

１ 情報処理システム
１０ サーバ装置
２０ ユーザ端末
３０ ユーザ
ＮＷ 通信ネットワーク

Claims (13)

1. 撮像部により撮像されたユーザの顔画像情報を取得する画像取得部と、
   取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報を生成する遅発性ジスキネジア様症状情報生成部と、を備え、
   前記顔画像情報は、顔の部位の器官点情報に基づき算出された前記ユーザの顔表情を構成する各部位の形状情報又は動き情報を含む、情報処理システム。
2. 前記遅発性ジスキネジア様症状情報生成部は、前記顔画像情報における前記ユーザの顔表情を構成する部位に関連した特徴情報に基づき前記遅発性ジスキネジア様症状情報を生成する、請求項１に記載の情報処理システム。
3. 前記遅発性ジスキネジア様症状情報は、前記取得した顔画像情報のうち遅発性ジスキネジア様症状に関連する顔画像情報だけを特定した特定顔画像情報である、請求項１に記載の情報処理システム。
4. 前記特定顔画像情報を他の顔画像情報と判別可能に表示する表示情報生成部を備える、請求項３に記載の情報処理システム。
5. 少なくとも前記ユーザの遅発性ジスキネジア様症状に関する質問情報を含むー以上の質問情報を送信する質問情報送信部と、
   前記質問情報に対応する回答情報の入力を受け付ける回答情報受信部と、
   をさらに備え、
   前記遅発性ジスキネジア様症状情報生成部は、取得した前記顔画像情報及び前記回答情報に基づき、前記遅発性ジスキネジア様症状情報を生成する、請求項１に記載の情報処理システム。
6. 少なくとも前記ユーザの遅発性ジスキネジア様症状に関する質問情報を含むー以上の質問情報を送信する質問情報送信部と、
   前記質問情報に対応する回答情報の入力を受け付ける回答情報受信部と、
   前記回答情報を送信する回答情報送信部をさらに備える、請求項１に記載の情報処理システム。
7. 少なくとも前記質問情報の提示期間または前記回答情報の入力可能期間に前記顔画像情報を撮像することを前記撮像部に指示する撮像指示部をさらに備える、請求項５または６のいずれかに記載の情報処理システム。
8. 撮像に関連しない表示情報の表示期間に前記顔画像情報を撮像することを前記撮像部に指示する撮像指示部をさらに備える、請求項１ないし６のいずれかに記載の情報処理システム。
9. 前記撮像に関連しない表示情報は、遅発性ジスキネジア症状に関連する情報を含む、請求項８に記載の情報処理システム。
10. 前記撮像に関連しない表示情報は、前記ユーザが操作可能なゲーム情報を含む、請求項８に記載の情報処理システム。
11. 前記撮像に関連しない表示情報は、前記ユーザにより選択可能な表示情報を含む、請求項８に記載の情報処理システム。
12. コンピュータの演算装置により、
    撮像部により撮像されたユーザの顔画像情報を取得することと、
    取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報を生成することと、を実行し、
    前記顔画像情報は、顔の部位の器官点情報に基づき算出された前記ユーザの顔表情を構成する各部位の形状情報又は動き情報を含む、情報処理方法。
13. 撮像部により撮像されたユーザの顔画像情報を取得する画像取得機能部と、
    取得した前記顔画像情報に基づき、前記ユーザの顔に現れる遅発性ジスキネジア様症状に関連する遅発性ジスキネジア様症状情報を生成する遅発性ジスキネジア様症状情報生成機能部と、をコンピュータにおいて実現し、
    前記顔画像情報は、顔の部位の器官点情報に基づき算出された前記ユーザの顔表情を構成する各部位の形状情報又は動き情報を含む、プログラム。

Images