JP6775757B1 - 機能改善支援システムおよび機能改善支援装置 - Google Patents

機能改善支援システムおよび機能改善支援装置 Download PDF

Info

Publication number
JP6775757B1
JP6775757B1 JP2019146110A JP2019146110A JP6775757B1 JP 6775757 B1 JP6775757 B1 JP 6775757B1 JP 2019146110 A JP2019146110 A JP 2019146110A JP 2019146110 A JP2019146110 A JP 2019146110A JP 6775757 B1 JP6775757 B1 JP 6775757B1
Authority
JP
Japan
Prior art keywords
feature amount
exercise program
image data
user
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019146110A
Other languages
English (en)
Other versions
JP2021026650A (ja
Inventor
豪一 竹内
豪一 竹内
Original Assignee
株式会社元気広場
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社元気広場 filed Critical 株式会社元気広場
Priority to JP2019146110A priority Critical patent/JP6775757B1/ja
Priority to JP2020116283A priority patent/JP6968458B2/ja
Application granted granted Critical
Publication of JP6775757B1 publication Critical patent/JP6775757B1/ja
Publication of JP2021026650A publication Critical patent/JP2021026650A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】要介護者などの対象ユーザの機能を効果的に改善するための運動プログラムを決定する。【解決手段】カメラを内蔵した端末装置と、機能改善支援装置とを備え、端末装置は、対象ユーザを撮影することにより得られる、機能に関連する画像データを機能改善支援装置に送信し、機能改善支援装置は、画像データを取得する画像データ取得部と、画像データから、機能に関連する特徴量を抽出する特徴量抽出部と、学習済みモデルに基づいて、特徴量から、機能を改善するための運動プログラムを決定する運動プログラム決定部と、決定した運動プログラムの内容を示す情報を端末装置に提供する情報提供部とを備え、学習済みモデルは、複数のユーザについての機能に関連する特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、特徴量に対応する運動プログラムの識別情報を出力するモデルである。【選択図】図１

Description

本発明は、対象ユーザの機能の改善を支援する機能改善支援システム、機能改善支援装置および端末装置に関する。
近年、高齢化が急速に進展し、高齢者を含む要介護者が増加している。このため、要介護者の増加の抑制、または要介護者を減少させる施策が必要となっている。
上記施策の一例として、例えば、特許文献１には、認知症の要介護者に対して、ゲームを行ってもらうことにより認知機能の改善を行う認知症介護支援システムが示されている。
また、特許文献２には、要介護者にエクササイズプログラムを提供し、当該プログラムに沿った動作を行ってもらうことにより、運動機能の改善を行うユーザ健康維持活性化支援及び見守りシステムが示されている。
特開２０１６−０７１８９７号公報 特開２０１０−１４０１１９号公報
しかし、要介護者の問題点は多岐にわたり、問題点を見つけ出したとしても、数多くある運動プログラムから最も効果的な運動プログラムを選択するのは、リハビリの専門職でなければ困難である。つまり、一般の介護職がこのような運動プログラムを選択するのは困難を極める。
特許文献１および２に記載のシステムにおいても、最適なゲームまたはエクササイズプログラムを選択することは困難であり、同様の問題が生じる。
本発明は、このような事情に鑑みてなされてものであり、要介護者などの対象ユーザの機能を効果的に改善するための運動プログラムを決定することのできる機能改善支援システム、機能改善支援装置および端末装置を提供することを目的とする。
（１）本発明のある局面に係る機能改善支援システムは、カメラを内蔵した端末装置と、所定の機能の改善を支援する機能改善支援装置とを備え、前記端末装置は、前記カメラにより対象ユーザを撮影することにより得られる、前記所定の機能に関連する画像データを前記機能改善支援装置に送信し、前記機能改善支援装置は、前記端末装置から前記画像データを取得する画像データ取得部と、前記画像データ取得部が取得した前記画像データから、前記所定の機能に関連する特徴量を抽出する特徴量抽出部と、学習済みモデルに基づいて、前記特徴量抽出部が抽出した前記特徴量から、前記所定の機能を改善するための運動プログラムを決定する運動プログラム決定部と、前記運動プログラム決定部が決定した前記運動プログラムの内容を示す情報を前記端末装置に提供する情報提供部とを備え、前記学習済みモデルは、複数のユーザについての前記所定の機能に関連する特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルである。
この構成によると、端末装置に内蔵されたカメラで対象ユーザを撮影することにより、対象ユーザの画像データから所定の機能に関連する特徴量が抽出され、特徴量を学習済みモデルに入力することにより、当該対象ユーザの機能を改善するための運動プログラムを決定される。この学習済みモデルは、複数のユーザについての特徴量と、各ユーザが実行した運動プログラムを学習用データとして機械学習することにより得られたモデルである。このため、対象ユーザの特徴量を学習済みモデルに入力することにより、当該対象ユーザにとって改善度合いが最も高くなることが期待される運動プログラムが出力される。これにより、要介護者などの対象ユーザの機能を効果的に改善するための運動プログラムを決定することができる。また、リハビリの専門職以外の者（例えば、一般の介護職）であっても、カメラで対象ユーザを撮影するだけで、対象ユーザの運動プログラムを得ることができる。つまり、リハビリの専門職以外の者であっても、専門職と同等の基準で決定された運動プログラムを得ることができる。これにより、リハビリの専門職の不足を解消することもできる。
（２）好ましくは、前記所定の機能は、ユーザの動作に関連する機能であり、前記画像データは、所定の動作を行う前記対象ユーザを撮影することにより得られる動画像データを含み、前記特徴量抽出部は、前記所定の動作ができるか否かを判定するための１以上の動作の指標の各々について、前記動画像データから当該指標に関する評価を示す前記特徴量を抽出し、前記学習済みモデルは、複数のユーザについて、各ユーザの前記指標に関する評価を示す特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルである。
この構成によると、端末装置に内蔵されたカメラで所定の動作を行う対象ユーザを撮影するだけで、当該動作ができるか否かを判定するための１以上の指標の評価が抽出されるとともに、所定の動作ができない対象ユーザに対し、当該動作を改善するための運動プログラムを決定することができる。例えば、起き上がりができない対象ユーザであっても、対象ユーザ間で起き上がりができない度合いに差がある。しかし、この構成では、起き上がりができない複数の対象ユーザに対して、同じ運動プログラムを提供するのではなく、対象ユーザごとの指標の評価の組み合わせに応じた最も効果的な運動プログラムを決定して、提供することができる。
（３）さらに好ましくは、前記特徴量抽出部は、前記動画像データに基づいて前記対象ユーザの関節位置を含む関節等位置を推定し、推定した前記関節等位置に基づいて各前記指標に関する評価を示す前記特徴量を抽出する。
この構成によると、距離画像センサなどの高価なセンサを用いなくとも、スマートフォンやタブレット端末などの端末装置に内蔵されたカメラで対象ユーザを撮影するだけで、所定の動作に関連する各指標に関する評価を抽出することができる。
（４）また、前記所定の機能は、ユーザの言語または口腔に関連する機能であり、前記画像データは、口、舌および下顎の少なくとも１つに関する所定の運動を行う前記対象ユーザを撮影することにより得られる画像データを含み、前記特徴量抽出部は、前記画像データから前記所定の運動に関する評価を前記特徴量として抽出し、前記学習済みモデルは、複数のユーザについて、各ユーザの前記所定の運動に関する評価を示す特徴量、ならびに各ユーザが実行した管理指導項目および運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記管理指導項目の識別情報および前記運動プログラムの識別情報を出力するモデルであってもよい。
この構成によると、端末装置に内蔵されたカメラで所定の運動を行う対象ユーザを撮影するだけで、当該運動に関する評価が抽出されるとともに、所定の運動ができていない対象ユーザに対する、当該運動を改善するための運動プログラムを決定することができる。これにより、例えば、構音障害または嚥下障害のある複数の対象ユーザに対して、同じ管理指導項目および運動プログラムを提供するのではなく、対象ユーザごとに最も効果的な管理指導項目および運動プログラムを決定して、提供することができる。
（５）また、前記端末装置は、さらに、マイクを内蔵し、前記端末装置は、前記対象ユーザが所定の音を発話した音声データを前記マイクを用いて取得し、取得した前記音声データを前記機能改善支援装置に送信し、前記機能改善支援装置は、さらに、前記端末装置から前記音声データを取得する音声データ取得部を備え、前記特徴量抽出部は、さらに、前記音声データ取得部が取得した前記音声データから前記所定の音の発話に関する評価を前記特徴量として抽出し、前記学習済みモデルは、複数のユーザについて、各ユーザの前記所定の運動に関する評価を示す特徴量および前記所定の音の発話に関する評価を示す特徴量、ならびに各ユーザが実行した管理指導項目および運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記管理指導項目の識別情報および前記運動プログラムの識別情報を出力するモデルであってもよい。
この構成によると、端末装置に内蔵されたマイクを用いて、対象ユーザが所定の音を発話した音声データを取得するだけで、当該発話に関する評価が抽出されるとともに、所定の音の発話ができていない対象ユーザに対する、当該発話を改善するための運動プログラムを決定することができる。これにより、例えば、発話障害のある複数の対象ユーザに対して、同じ管理指導項目および運動プログラムを提供するのではなく、対象ユーザごとに最も効果的な管理指導項目および運動プログラムを決定して、提供することができる。
（６）また、前記機能改善支援装置は、さらに、前記対象ユーザの言語または口腔の質問項目および検査項目に対する回答と、前記対象ユーザの言語または口腔の評価項目に対する口腔専門職による評価とを前記所定の機能に関連する特徴量として取得する特徴量取得部を備え、前記学習済みモデルは、複数のユーザについて、各ユーザの前記所定の運動に関する評価を示す特徴量、各ユーザの前記所定の音の発話に関する評価を示す特徴量、各ユーザの前記言語または口腔の質問項目および検査項目に対する回答を示す特徴量、口腔専門職による各ユーザの評価項目に対する評価を示す特徴量、ならびに各ユーザが実行した管理指導項目および運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記管理指導項目の識別情報および前記運動プログラムの識別情報を出力するモデルであり、前記運動プログラム決定部は、前記学習済みモデルに基づいて、前記特徴量抽出部が抽出した前記特徴量および前記特徴量取得部が取得した前記特徴量から、前記所定の機能を改善するための管理指導項目および運動プログラムを決定してもよい。
この構成によると、対象ユーザの言語または口腔の質問項目および検査項目に対する回答と、口腔専門職による対象ユーザの評価が取得され、取得された回答および評価を学習済みモデルに入力することにより、当該対象ユーザの言語または口腔に関連する機能を改善するための管理指導項目および運動プログラムを決定することができる。これにより、例えば、構音障害または嚥下障害のある複数の対象ユーザに対して、同じ管理指導項目および運動プログラムを提供するのではなく、対象ユーザごとに最も効果的な管理指導項目および運動プログラムを決定して、提供することができる。
（７）また、前記機能改善支援装置は、さらに、前記学習済みモデルを機械学習する機械学習部を備え、前記機械学習部は、さらに、前記運動プログラム決定部が決定した前記運動プログラムを実行した前記対象ユーザの前記特徴量、および当該運動プログラムの識別情報を学習用データとして前記学習済みモデルを機械学習してもよい。
この構成によると、対象ユーザの特徴量と、対象ユーザに対して提供した運動プログラムとを学習用データとして、学習済みモデルを再学習することができる。これにより、他の対象ユーザに対して、さらに、改善度合いの高い効果的な運動プログラムを決定して、提供することができる。
（８）本発明の他の局面に係る機能改善支援装置は、端末装置から、前記端末装置に内蔵されたカメラにより対象ユーザを撮影することにより得られる、前記対象ユーザの所定の機能に関連する画像データを取得する画像データ取得部と、前記画像データ取得部が取得した前記画像データから、前記所定の機能に関連する特徴量を抽出する特徴量抽出部と、学習済みモデルに基づいて、前記特徴量抽出部が抽出した前記特徴量から、前記所定の機能を改善するための運動プログラムを決定する運動プログラム決定部と、前記運動プログラムが決定した前記運動プログラムの内容を示す情報を前記端末装置に提供する情報提供部とを備え、前記学習済みモデルは、複数のユーザについての前記所定の機能に関連する特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルである。
この構成によると、端末装置に内蔵されたカメラで対象ユーザを撮影することにより得られる画像データから、所定の機能に関連する特徴量が抽出され、特徴量を学習済みモデルに入力することにより、当該対象ユーザの機能を改善するための運動プログラムを決定される。この学習済みモデルは、複数のユーザについての特徴量と、各ユーザが実行した運動プログラムを学習用データとして機械学習することにより得られたモデルである。このため、対象ユーザの特徴量を学習済みモデルに入力することにより、当該対象ユーザにとって改善度合いが最も高くなることが期待される運動プログラムが出力される。これにより、要介護者などの対象ユーザの機能を効果的に改善するための運動プログラムを決定することができる。
（９）本発明の他の局面に係る端末装置は、カメラと、前記カメラにより対象ユーザを撮影することにより得られる、前記対象ユーザの所定の機能に関連する画像データを、請求項８に記載の機能改善支援装置に提供する画像データ提供部と、前記機能改善支援装置から、前記所定の機能を改善するための運動プログラムの内容を示す情報を取得する運動プログラム取得部と、前記運動プログラム取得部が取得した前記情報に基づいて、前記運動プログラムを提示する運動プログラム提示部とを備える。
この構成によると、上述の機能改善支援装置が決定した運動プログラムを提示することができる。このため、例えば、端末装置を利用する対象ユーザまたは対象ユーザの介護者は、最も効果的な運動プログラムに基づいた機能改善のための訓練を実行することができる。
本発明によると、要介護者などの対象ユーザの機能を効果的に改善することができる。
本発明の実施の形態１に係る機能改善支援システムの構成を示す図である。 端末装置の構成を示すブロック図である。 機能改善支援装置の構成を示すブロック図である。 記憶部に記憶されているユーザ情報の一例を示す図である。 機能改善支援システムの処理手順の一例を示すシーケンス図である。 個人情報入力画面の一例を示す図である。 バイタルチェック画面の一例を示す図である。 動作解析メニュー画面の一例を示す図である。 撮影画面の一例を示す図である。 運動説明画面の一例を示す図である。 解析結果画面の一例を示す図である。 機能改善支援装置の処理手順の一例を示すフローチャートである。 機能改善支援装置の構成を示すブロック図である。 記憶部に記憶されているユーザ情報の一例を示す図である。 端末装置の構成を示すブロック図である。 機能改善支援システムの処理手順を示すシーケンス図である。 機能改善支援システムの処理手順を示すシーケンス図である。 メニュー画面の一例を示す図である。 口腔機能検査画面の一例を示す図である。 口腔機能検査画面の一例を示す図である。 噛む力検査画面の一例を示す図である。 噛む力検査結果画面の一例を示す図である。 反復唾液嚥下検査画面の一例を示す図である。 口腔衛生検査画面の一例を示す図である。 撮影画面の一例を示す図である。 第１録音画面の一例を示す図である。 第２録音画面の一例を示す図である。 解析画面の一例を示す図である。 運動説明画面の一例を示す図である。 管理指導計画の一例を示す図である。 図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。 図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。 図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。 図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。 図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。 図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。
［実施の形態１］
＜機能改善支援システムの構成＞
図１は、本発明の実施の形態１に係る機能改善支援システムの構成を示す図である。実施の形態１で改善支援の対象とする機能とは、ユーザの動作に関連する機能である。
機能改善支援システム１は、要介護者などの対象ユーザ５０の機能を改善するためのシステムであり、機能改善支援装置２０と、端末装置４０とを備える。
端末装置４０は、例えば、対象ユーザ５０または対象ユーザ５０の介護者などの操作者が利用するタブレット端末、スマートフォンまたはノートパソコンなどの表示画面を備えるコンピュータ装置である。端末装置４０には、２次元画像を撮影可能なカメラが内蔵されているものとする。特に、カメラは２次元の動画像を撮影可能であるものとする。例えば、対象ユーザ５０の機能改善の手助けを行う介護者、介助者または介護福祉士などが、端末装置４０を操作する。ただし、対象ユーザ５０自身が端末装置４０を操作してもよい。
また、端末装置４０は、無線によりデータを送信する通信機能を有する。端末装置４０は、無線通信によりネットワーク２を介して機能改善支援装置２０との間でデータの送受信を行うことができる。例えば、端末装置４０は、内蔵カメラにより取得された対象ユーザ５０の画像データを、無線通信によりネットワーク２を介して機能改善支援装置２０に送信する。また、端末装置４０は、介護者等がタッチパネルやキーボード等を操作して入力したデータ（例えば、対象ユーザ５０の個人情報）を機能改善支援装置２０に送信する。さらに、端末装置４０は、機能改善支援装置２０から、対象ユーザ５０の機能改善のための運動プログラムの内容を示す情報（例えば、運動プログラムの映像データ）を受信する。端末装置４０は、受信した情報に従って、運動プログラムを端末装置４０の表示画面に表示する。
機能改善支援装置２０は、有線または無線によりネットワーク２に接続され、ネットワーク２を介して端末装置４０と接続される。機能改善支援装置２０は、端末装置４０から、介護者等が入力したデータを受信する。また、機能改善支援装置２０は、端末装置４０から、対象ユーザ５０の画像データを受信する。機能改善支援装置２０は、受信した画像データに基づいて、対象ユーザ５０が所定の動作ができているか否かを判定するための１以上の指標の評価を示す特徴量を抽出する。機能改善支援装置２０は、特徴量に基づいて、対象ユーザ５０の動作を改善するための運動プログラムを決定する。機能改善支援装置２０は、決定した運動プログラムの内容を示す情報を端末装置４０に送信する。
ネットワーク２は、例えば、インターネットまたはＬＡＮ（Local Area Network）などである。
＜端末装置４０の構成＞
図２は、端末装置４０の構成を示すブロック図である。
端末装置４０は、通信部４１と、カメラ４２と、画像データ提供部４３と、運動プログラム取得部４４と、表示部４５と、入力部４６とを備える。端末装置４０は、具体的には、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、通信インタフェースなどを備えるタブレット端末、スマートフォンまたはノートパソコンなどにより構成される。例えば、ＨＤＤまたはＲＯＭに記憶されたコンピュータプログラムをＲＡＭにロードし、ＣＰＵ上で実行することにより、端末装置４０の各処理部が機能的に実現される。ただし、各処理部の一部または全部が半導体装置などのハードウェアにより実現されていてもよい。
通信部４１は、ネットワーク２に無線により接続され、ネットワーク２を介して機能改善支援装置２０などの他の装置とデータの送受信を行う通信機である。
カメラ４２は、被写体を撮影することにより、被写体の画像データを生成し、画像データ提供部４３に出力する。例えば、カメラ４２は、被写体として対象ユーザ５０を撮影する。以下では、被写体を対象ユーザ５０として説明を続ける。
画像データ提供部４３は、カメラ４２が生成した対象ユーザ５０の画像データを、対象ユーザ５０のユーザＩＤと対応付けて通信部４１に出力し、通信部４１がネットワーク２を介して画像データおよびユーザＩＤを機能改善支援装置２０に送信する。
通信部４１は、ネットワーク２を介して機能改善支援装置２０から、対象ユーザ５０の動作に関する機能を改善するための運動プログラムの内容を示す情報を受信し、運動プログラム取得部４４に出力する。
運動プログラム取得部４４は、通信部４１を介して機能改善支援装置２０から取得した情報に基づいて、運動プログラムを示す画像データを表示部４５に出力する。
表示部４５は、運動プログラムを提示する運動プログラム提示部として機能し、運動プログラムを示す画像データを表示する。なお、表示部４５は、機能改善支援装置２０がタブレット端末またはスマートフォンの場合にはタッチパネルであり、機能改善支援装置２０がノートパソコンの場合にはディスプレイである。
入力部４６は、対象ユーザ５０の属性などのデータの入力を受け付け、受け付けたデータを通信部４１に出力する。通信部４１は、入力部４６から受けたデータを、対象ユーザ５０のユーザＩＤと対応付けて、ネットワーク２を介して機能改善支援装置２０に送信する。なお、入力部４６は、機能改善支援装置２０がタブレット端末またはスマートフォンの場合にはタッチパネルであり、機能改善支援装置２０がノートパソコンの場合にはキーボードやタッチパッドなどである。
＜機能改善支援装置２０の構成＞
図３は、機能改善支援装置２０の構成を示すブロック図である。
機能改善支援装置２０は、通信部２１と、入力データ取得部２２と、画像データ取得部２３と、特徴量抽出部２４と、運動プログラム決定部２５と、情報提供部２６と、学習用データ取得部２７と、機械学習部２８と、記憶部２９とを備える。
機能改善支援装置２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、通信インタフェースなどを備える一般的なコンピュータにより実現することができる。例えば、ＨＤＤまたはＲＯＭに記憶されたコンピュータプログラムをＲＡＭにロードし、ＣＰＵ上で実行することにより、機能改善支援装置２０の各処理部が機能的に実現される。ただし、各処理部の一部または全部が半導体装置などのハードウェアにより実現されていてもよい。
通信部２１は、ネットワーク２に有線または無線により接続され、ネットワーク２を介して端末装置４０などの他の装置とデータの送受信を行う通信機である。
入力データ取得部２２は、通信部２１を介して対象ユーザ５０の属性を取得し、記憶部２９に記憶されているユーザ情報２９ａに登録する。属性には、例えば、対象ユーザ５０の名前、年齢、性別、介護度、麻痺の有無などの情報が含まれる。
図４は、記憶部２９に記憶されているユーザ情報２９ａの一例を示す図である。
ユーザ情報２９ａは、ユーザＩＤ、名前、年齢、性別、介護度、麻痺の有無、動作、画像データ、指標（不十分）および運動プログラム名を含む。
例えば、入力データ取得部２２は、ユーザＩＤ「ｕ１」の対象ユーザ５０の名前が「ＡＡ」、年齢が「８１」歳、性別が「男」、介護度が「介１」（介護度１）、麻痺の有無が「両」（両方）であることを、ユーザ情報２９ａに登録する。入力データ取得部２２は、ユーザＩＤ「ｕ２」および「ｕ３」などの他の対象ユーザ５０の属性情報についても同様にユーザ情報２９ａに登録する。
再び図３を参照して、画像データ取得部２３は、通信部２１を介して対象ユーザ５０の動画像データを取得する。画像データ取得部２３は、取得した動画像データを記憶部２９に記憶されているユーザ情報２９ａに登録する。なお、本開示において画像データとは、静止画像データで、動画像データ、動画像データを構成する各画像データのいずれを指すものとする。
図４を参照して、例えば、ユーザ情報２９ａには、後述する動作ごとに動画像データが登録される。例えば、ユーザＩＤ「ｕ１」の対象ユーザ５０の動作「寝起き・起き上がり」に対して動画像データ「ｖ１」が登録され、同じ対象ユーザ５０の動作「立ち上がり」に対して動画像データ「ｖ２」が登録される。
再び図３を参照して、特徴量抽出部２４は、画像データ取得部２３から、画像データ取得部２３が取得した動画像データを受け、動画像データから所定の機能に関連する特徴量を抽出する。所定の機能とは、ユーザの動作に関連する機能であり、例えば、「寝返り・起き上がり」、「立ち上がり」、「着座」、「しゃがみ込み」、「側方跨ぎ」、「片脚立位保持」、「座位保持」、「両脚立位保持」、「歩行（１周期）」の９項目が含まれるものとする。
特徴量抽出部２４は、９つの各動作について、動作ができているか否かを判定するための１以上の動作の指標を評価し、評価の結果を特徴量とする。例えば、動作「寝返り・起き上がり」を判定するための指標には「頸部屈曲」、「肩甲帯前方突出＆リーチ」、「体軸内回旋」、「体幹拳上」と呼ばれる４つの指標が存在する。また、動作「立ち上がり」を判定するための指標には「体幹前傾」、「円滑な体幹前傾」、「体幹と下肢の協調的な進展」と呼ばれる３つの指標が存在する。各指標の評価は、例えば、「十分」および「不十分」の２段階とする。
具体的には、特徴量抽出部２４は、各動作を対象ユーザ５０が実際に行った動画像データに基づいて、対象ユーザ５０の関節位置を含む関節等位置を推定し、関節等位置の動きを推定する。ここで、関節等位置は、関節位置を含む。なお、関節等位置は、関節位置の他、鼻の位置、頭の位置、胸骨の位置等の対象ユーザ５０の骨格を規定する位置を含んでいてもよい。関節等位置の推定には、ディープニューラルネットワークなどにより構成される学習済みモデル２９ｂを使用する。この学習済みモデル２９ｂは、画像データと関節等位置との組を学習データとして、ディープニューラルネットワークのパラメータを、ディープラーニングにより機械学習することにより得られる。これにより、画像データを入力とし、関節等位置を出力する学習済みモデル２９ｂが得られる。学習済みモデル２９ｂは、事前に記憶部２９に記憶されているものとする。特徴量抽出部２４は、記憶部２９から学習済みモデル２９ｂを読み出し、読み出した学習済みモデル２９ｂに対象ユーザ５０の動画像データを入力することにより、対象ユーザ５０の最も確率の高い関節等位置を、動画像データごと、または動画像データを構成する画像データごとに推定する。なお、特徴抽出部２４は、さらに、上記動画像データに基づいて、対象ユーザ５０の関節等位置を結ぶ補助線の動きを推定してもよい。
次に、特徴量抽出部２４は、推定した関節等位置の動きに基づいて、対象ユーザ５０の各指標の評価を行う。指標の評価には、ディープニューラルネットワークなどにより構成される学習済みモデル２９ｃを使用する。この学習済みモデル２９ｃは、関節等位置の動き（動画像データを構成する各画像データにおける関節等位置）と、画像データごとの指標の評価（十分、不十分）との組を学習データとして、ディープニューラルネットワークのパラメータを、ディープラーニングにより機械学習することにより得られる。これにより、関節等位置の動きを入力として、指標の評価を出力する学習済みモデル２９ｃが得られる。学習済みモデル２９ｃは、事前に記憶部２９に記憶されているものとする。特徴量抽出部２４は、記憶部２９から学習済みモデル２９ｃを読み出し、読み出した学習済みモデル２９ｃに、推定した関節等位置の動きを入力することにより、対象ユーザ５０の各指標について、最も確率の高い評価を得る。
特徴量抽出部２４は、各指標の評価をユーザ情報２９ａに登録する。図４を参照して、「指標（不十分）」の欄には、不十分と評価された指標名が登録される。例えば、ユーザＩＤ「ｕ１」の対象ユーザ５０の動作「寝返り・起き上がり」については、指標「頸部屈曲」および「体軸内回旋」が不十分と評価されたことが示されている。言い換えれば、動作「寝返り・起き上がり」のその他の指標「肩甲帯前方突出＆リーチ」および「体幹挙上」については十分と評価されたことを示している。なお、ユーザ情報２９ａには、指標ごとの評価（十分、不十分）が登録されていてもよい。
再び図３を参照して、運動プログラム決定部２５は、特徴量抽出部２４から特徴量（ここでは、各指標に関する評価）を受け、特徴量から、所定の機能（ここでは、動作）を改善するための運動プログラムを決定する。運動プログラムの決定には、ディープニューラルネットワークなどにより構成される学習済みモデル２９ｄを使用する。この学習済みモデル２９ｄは、ユーザの属性と、各動作を判定するための１以上の指標の評価と、リハビリの専門職が選定した運動プログラムの識別情報との組を学習データとして、ディープニューラルネットワークのパラメータをディープラーニングにより機械学習することにより得られる。つまり、学習済みモデル２９ｄは、動作ごとに用意される。これにより、動作ごとに、動作を判定するための１以上の指標の評価を入力として、運動プログラムの識別情報を出力する学習済みモデル２９ｄが得られる。また、学習済みモデル２９ｄは、事前に記憶部２９に記憶されているものとする。特徴量抽出部２４は、記憶部２９から対象とする動作の学習済みモデル２９ｄを読み出し、読み出した学習済みモデル２９ｄに、対象ユーザ５０の属性と、指標に関する評価とを入力することにより、最も確率の高い、動作を改善するための運動プログラムの識別情報を得る。
例えば、運動プログラム決定部２５は、対象ユーザ５０の属性と、動作「寝返り・起き上がり」を評価するための４つの指標「頸部屈曲」、「肩甲帯前方突出＆リーチ」、「体軸内回旋」および「体幹拳上」の評価を、動作「寝返り・起き上がり」用の学習済みモデル２９ｄに入力する。その後、運動プログラム決定部２５は、学習済みモデル２９ｄから、動作「寝返り・起き上がり」を改善するための最も確率の高い運動プログラム識別情報（例えば、運動プログラム名）を得る。運動プログラム決定部２５は、決定した運動プログラムの識別情報を情報提供部２６に出力する。運動プログラム決定部２５は、他の動作についても同様に運動プログラムを決定する。
情報提供部２６は、運動プログラム決定部２５が決定した運動プログラムの内容を示す情報を、通信部２１を介して端末装置４０に送信する。例えば、運動プログラム決定部２５が決定した運動プログラムを解説するための動画像データを記憶部２９から読み出し、読み出した動画像データを、通信部２１を介して端末装置４０に送信する。
また、情報提供部２６は、決定した運動プログラム名をユーザ情報２９ａに登録する。図４を参照して、例えば、ユーザＩＤ「ｕ１」の対象ユーザ５０の動作「寝返り・起き上がり」の運動プログラム名「ｐ１」〜「ｐ４」がユーザ情報２９ａに登録される。また、同じ対象ユーザ５０の動作「立ち上がり」の運動プログラム名「ｐ５」がユーザ情報２９ａに登録される。他の対象ユーザ５０についても同様に動作および運動プログラム名の組がユーザ情報２９ａに登録される。
学習用データ取得部２７は、学習済みモデル２９ｄを再学習するための学習用データを取得する。具体的には、学習用データ取得部２７は、記憶部２９からユーザ情報２９ａを読み出す。
例えば、学習用データ取得部２７は、図４に示したユーザＩＤ「ｕ１」の対象ユーザ５０についてのユーザ情報を、学習用データとして取得する。学習用データ取得部２７は、ユーザＩＤ「ｕ２」および「ｕ３」等の他の対象ユーザ５０についても同様に、ユーザ情報を学習用データとして取得する。
機械学習部２８は、学習用データ取得部２７が取得した学習用データに基づいて、学習済みモデル２９ｄのパラメータをさらにディープラーニングにより機械学習することにより、学習済みモデル２９ｄを更新してもよい。
＜機能改善支援システム１の処理手順＞
次に、機能改善支援システム１の処理手順の一例について説明する。
図５は、機能改善支援システム１の処理手順の一例を示すシーケンス図である。
端末装置４０の表示部４５は、個人情報入力画面を表示する（Ｓ１）。図６は、個人情報入力画面の一例を示す図である。個人情報入力画面を表示するための情報は、端末装置４０の記憶部に事前に登録されていてもよいし、通信部４１が機能改善支援装置２０から取得し、表示部４５が表示するようにしてもよい。なお、以降に説明する画面を表示部４５に表示するための情報についても同様である。
図６を参照して、個人情報入力画面には、ＩＤ入力欄６１と、ＯＫボタン６２と、名前入力欄６３と、誕生日入力欄６４と、年齢表示欄６５と、性別選択ボタン６６と、介護度選択ボタン６７と、麻痺有無選択ボタン６８と、ＩＤ新規作成ボタン６９と、ＩＤ表示欄７０と、ＯＫ／登録ボタン７１とが表示される。なお、図６に示す入力欄、表示欄、ボタン等は一例であり、その種類や個数は図６に示したものに限定されるものではない。また、図６に示す個人情報入力画面が、例えば、表示部４５の複数画面に亘って表示されてもよい。
ＩＤ新規作成ボタン６９を押すことにより、機能改善支援装置２０との間でやり取りが行われ、ユニークなユーザＩＤが割り振られる。通信部４１は、ユーザＩＤを機能改善支援装置２０から受け、表示部４５は、そのユーザＩＤをＩＤ表示欄７０に表示する。
名前入力欄６３は、対象ユーザ５０の名前を入力する欄である。
誕生日入力欄６４は、対象ユーザ５０の誕生日を入力する欄である。
年齢表示欄６５は、誕生日入力欄６４に入力された誕生日から算出される年齢を表示する欄である。
２つの性別選択ボタン６６は、対象ユーザ５０の性別を選択するためのボタンである。
８つの介護度選択ボタン６７は、対象ユーザ５０の介護度を選択するためのボタンである。「支１」、「支２」、「介１」、「介２」、「介３」、「介４」、「介５」、「非」は、それぞれ、要支援１、要支援２、介護度（要介護）１、介護度（要介護）２、介護度（要介護）３、介護度（要介護）４、介護度（要介護）５、介護不要を示す。
４つの麻痺有無選択ボタン６８は、対象ユーザ５０の麻痺の有無を選択するためのボタンである。「右」、「左」、「両」、「無」は、それぞれ、右側に麻痺有り、左側に麻痺有り、両側に麻痺有り、麻痺無しを示す。
ＯＫ／登録ボタン７１は、個人情報を機能改善支援装置２０に登録するためのボタンである。
操作者は、入力部４６を操作して、ＩＤ新規作成ボタン６９を押し、名前入力欄６３、誕生日入力欄６４、介護度選択ボタン６７および麻痺有無選択ボタン６８を用いて個人情報（属性情報）を入力し、ＯＫ／登録ボタン７１を押すことにより、対象ユーザ５０の属性を入力する（Ｓ２）。
入力部４６は、入力された対象ユーザ５０の属性を、通信部４１を介して機能改善支援装置２０に送信する（Ｓ３）。
なお、２回目以降の処理において、操作者は、ＩＤ入力欄６１にユーザＩＤを入力し、ＯＫボタン６２を押すことにより、対象ユーザ５０の名前、年齢、性別、介護度および麻痺の有無が自動入力される。
機能改善支援装置２０の入力データ取得部２２は、端末装置４０から送信された対象ユーザ５０の属性を受信し、ユーザ情報２９ａに登録する（Ｓ４）。
次に、表示部４５は、バイタルチェック画面を表示する（Ｓ５）。図７は、バイタルチェック画面の一例を示す図である。バイタルチェック画面には、５つのバイタルチェックの質問と、その質問に対するそれぞれ２つの組からなる回答ボタン８１〜８５と、ＯＫボタン８６とが表示されている。なお、質問の個数は５つに限定されるものではなく、４つ以下であってもよいし、６つ以上であってもよい。
操作者は、入力部４６を操作して、回答ボタン８１〜８５を押し、最後にＯＫボタンを押すことにより、５つの質問に回答する（Ｓ６）。
すべての回答が「はい」の場合には、表示部４５は、動作解析メニュー画面を表示する（Ｓ７）。図８は、動作解析メニュー画面の一例を示す図である。動作解析メニュー画面には、解析対象の９つの動作（「寝返り・起き上がり」、「立ち上がり」、「着座」、「しゃがみ込み」、「側方跨ぎ」、「片脚立位保持」、「座位保持」、「両脚立位保持」、「歩行（１周期）」）が表示される。
操作者がいずれかの動作をタップすることにより選択すると（Ｓ８）、表示部４５は、撮影画面を表示する（Ｓ９）。図９は、撮影画面の一例を示す図である。図９は、一例として「寝返り・起き上がり」動作についての撮影画面を示す。なお、他の動作についての撮影画面も同様である。撮影画面のカメラ映像領域９１には、カメラ４２で撮影中の動画像データが表示される。見本映像領域９４は、正しい「寝返り・起き上がり」動作の見本映像が表示される。カメラ４２は、対象ユーザ５０が見本映像を真似して「寝返り・起き上がり」動作を行う画像を撮影する。なお、操作者は、スタートボタン９２およびストップボタン９３を押すことにより、撮影の開始および終了をそれぞれ指示する。
スタートボタン９２が押された後にストップボタン９３が押されると、画像データ提供部４３は、スタートボタン９２が押されてからストップボタン９３が押されるまでの間に撮影された対象ユーザ５０の動画像データを、ユーザＩＤおよび動作の識別情報とともに、通信部４１を介して機能改善支援装置２０に送信する（Ｓ１０）。
機能改善支援装置２０の画像データ取得部２３は、端末装置４０から送信された動画像データ、ユーザＩＤおよび動作の識別情報を受信し、動画像データをユーザＩＤおよび動作の識別情報と対応付けてユーザ情報２９ａに登録する（Ｓ１１）。例えば、画像データ取得部２３は、ユーザＩＤ「ｕ１」の動作「寝起き・起き上がり」の動画像データ「ｖ１」を受信した場合には、図４に示すように、ユーザＩＤ「ｖ１」の動作「寝起き・立ち上がり」に対応させて、動画像データ「ｖ１」をユーザ情報２９ａに登録する。画像データ取得部２３は、端末装置４０から受信したデータを特徴量抽出部２４に出力する。
特徴量抽出部２４は、画像データ取得部２３から受けた動画像データと、学習済みモデル２９ｂとに基づいて、対象ユーザ５０の関節等位置を推定する（Ｓ１２）。これにより、特徴量抽出部２４は、関節等位置の動きを推定することができる。
特徴量抽出部２４は、推定した関節等位置の動きと、画像データ取得部２３から受けた動作の識別情報と、学習済みモデル２９ｃとに基づいて、対象ユーザ５０の上記動作についての各指標の評価を行う（Ｓ１３）。なお、特徴量抽出部２４は、各指標の評価をユーザ情報２９ａに登録する。例えば、ユーザＩＤ「ｕ１」の動作「寝起き・起き上がり」の動画像データ「ｖ１」から推定された関節等位置の動きに基づいて指標の評価を行った結果、指標「頸部屈曲」および「体軸内回旋」が不十分と評価された場合には、図４に示すユーザ情報２９ａの「指標（不十分）」の欄に、「頸部屈曲」および「体軸内回旋」が登録される。特徴量抽出部２４は、ユーザＩＤと、動作の識別情報と、その動作についての各指標の評価とを運動プログラム決定部２５に出力する。
運動プログラム決定部２５は、記憶部２９から、動作の識別情報に対応した学習済みモデル２９ｄを読み出す。また、運動プログラム決定部２５は、特徴量抽出部２４から受けたユーザＩＤに対応する対象ユーザ５０の属性をユーザ情報２９ａから抽出する。運動プログラム決定部２５は、抽出した対象ユーザ５０の属性と、特徴量抽出部２４から受けた各指標の評価と、読み出した学習済みモデル２９ｄとに基づいて、対象ユーザ５０の動作を改善するための運動プログラム名を決定する（Ｓ１４）。なお、運動プログラム決定部２５は、決定した運動プログラム名をユーザ情報２９ａに登録する。例えば、ユーザＩＤ「ｕ１」の対象ユーザ５０の属性および動作「寝返り・起き上がり」の指標の評価に基づいて決定した運動プログラム名「ｐ１」〜「ｐ４」が、ユーザ情報２９ａの運動プログラム名の欄に登録される。運動プログラム決定部２５は、決定した運動プログラム名を情報提供部２６に出力する。
情報提供部２６は、解析対象の動作について決定された運動プログラム名を運動プログラム決定部２５から受け、運動プログラム名に対応した運動プログラムの動画像データを記憶部２９から読み出す。また、情報提供部２６は、当該動作についての指標の評価をユーザ情報２９ａから読み出す。情報提供部２６は、運動プログラム名と、運動プログラムの動画像データと、指標評価とを、通信部４１を介して機能改善支援装置２０に送信する（Ｓ１５）。
運動プログラム取得部４４は、運動プログラム名、運動プログラムの動画像データおよび指標評価を、通信部４１を介して受信し、表示部４５は、運動説明画面を表示する（Ｓ１６）。図１０は、運動説明画面の一例を示す図である。図１０は、一例として「寝返り・起き上がり」動作についての運動説明画面を示す。表示部４５は、運動説明画面の運動プログラム領域１０１に、運動プログラム取得部４４が取得した運動プログラムの動画像データを表示する。なお、運動プログラムが複数ある場合には、そのうちの１つを選択して表示する。
運動説明画面の解析結果ボタン１０２が押されると、表示部４５は、解析結果画面を表示する（Ｓ１７）。図１１は、解析結果画面の一例を示す図である。図１１は、一例として「寝返り・起き上がり」動作についての解析結果画面を示す。表示部４５は、解析結果画面のカメラ映像領域１１１に、カメラ４２で撮影された画像データを表示する。つまり、カメラ映像領域１１１には、図９に示した撮影画面において撮影された画像データが表示される。また、表示部４５は、カメラ映像領域１１１のステータス項目領域１１２に、機能改善支援装置２０から受信した指標結果を表示する。ここでは、チェック印が付けられた指標「頸部屈曲」および「体軸内回旋」が不十分と評価されたことが示されている。また、表示部４５は、運動プログラム欄１１３に、機能改善支援装置２０から受信した運動プログラム名を表示する。ここでは、２つの運動プログラム名（頸部屈曲・体軸内回旋運動、および反復起き上がり運動）が表示されている。例えば、操作者が、２つの運動プログラムのうちのいずれかを選択すると、図１０に示した運動説明画面が表示され、運動プログラム領域１０１に選択した運動プログラム名に対応した運動プログラムの動画像データが表示される。操作者は、このような操作を各運動プログラムに対して行う。また、表示部４５は、解析結果画面に人体モデル１１４を表示する。人体モデル１１４には、不十分と評価された指標に対応する部位が視覚的に区別されて表示される。例えば、当該部位の筋肉が点滅または発光させてもよい。また、十分と評価された指標に対応する部位と、不十分と評価された指標に対応する部位とを色分けして表示してもよい。
＜学習モード＞
端末装置４０は、学習済みモデル２９ｄを再学習することも可能である。図１２は、機能改善支援装置２０の処理手順の一例を示すフローチャートである。
学習用データ取得部２７は、特徴量抽出部２４から、ユーザ情報２９ａを読み出す（Ｓ１０１）。
機械学習部２８は、学習用データ取得部２７が読み出したユーザ情報２９ａを学習用データとして、記憶部２９に記憶されている学習済みモデル２９ｄを再度機械学習する（Ｓ１０２）。たとえば、機械学習部２８は、各ユーザの属性、動作、指標の結果、運動プログラム名を学習用データとして学習済みモデル２９ｄを機械学習する。機械学習部２８は、機械学習後の学習済みモデル２９ｄを、記憶部２９に上書きして登録する。なお、学習用データは、ユーザの属性と、リハビリの専門職が判定した各動作を判定するための１以上の指標の評価と、当該専門職が選定した運動プログラム名であってもよい。
このような学習モードの処理は、例えば、所定期間（例えば、１か月）ごとに行われる。
＜実施の形態１の効果＞
以上説明したように、本発明の実施の形態１によると、端末装置４０に内蔵されたカメラ４２で所定の動作を行う対象ユーザ５０を撮影するだけで、当該動作ができるか否かを判定するための１以上の指標の評価が抽出されるとともに、所定の動作ができない対象ユーザ５０に対し、当該動作を改善するための運動プログラムを決定することができる。例えば、起き上がりができない対象ユーザ５０であっても、対象ユーザ間で起き上がりができない度合いに差がある。しかし、この構成では、起き上がりができない複数の対象ユーザ５０に対して、同じ運動プログラムを提供するのではなく、対象ユーザ５０ごとの指標の評価の組み合わせに応じた最も効果的な運動プログラムを決定して、提供することができる。また、リハビリの専門職以外の者（例えば、一般の介護職）であっても、カメラ４２で対象ユーザ５０を撮影するだけで、対象ユーザ５０の運動プログラムを得ることができる。つまり、リハビリの専門職以外の者であっても、専門職と同等の基準で決定された運動プログラムを得ることができる。これにより、リハビリの専門職の不足を解消することもできる。
また、距離画像センサなどの高価なセンサを用いなくとも、スマートフォンやタブレット端末などの端末装置４０に内蔵されたカメラ４２で対象ユーザ５０を撮影するだけで、所定の動作に関連する各指標に関する評価を抽出することができる。
また、対象ユーザ５０の特徴量と、対象ユーザ５０に対して提供した運動プログラムとを学習用データとして、学習済みモデル２９ｄを再学習することができる。これにより、他の対象ユーザに対して、さらに、改善度合いの高い効果的な運動プログラムを決定して、提供することができる。
［実施の形態２］
実施の形態１では、ユーザの動作に関連する機能の改善について説明した。ただし、改善対象の機能は、これに限定されるものではない。例えば、ユーザの言語または口腔に関連する機能を、改善対象の機能としてもよい。
実施の形態２では、ユーザの言語または口腔に関連する機能の改善について説明する。以下では、実施の形態１と異なる点を中心に説明し、同様の点については詳細な説明を繰り返さない。
実施の形態２に係る機能改善支援システムは、図１に示した機能改善支援システム１と同様である。
＜機能改善支援装置２０の構成＞
図１３は、機能改善支援装置２０の構成を示すブロック図である。
機能改善支援装置２０は、図３に示した機能改善支援装置２０の構成に加え、音声データ取得部３０と、特徴量取得部３１とを備える。なお、音声データ取得部３０および特徴量取得部３１は、コンピュータプログラムを実行することにより実現される機能的な処理部である。ただし、音声データ取得部３０および特徴量取得部３１の一部または全部が半導体装置などのハードウェアにより実現されていてもよい。
画像データ取得部２３は、通信部２１を介して対象ユーザ５０の口周辺の各運動指標に関する画像データを取得する。例えば、口周辺の運動指標は、「舌の突出」、「舌の右移動」、「舌の左移動」、「口唇を引く」、「口唇の突出」および「下顎の下制」の６つの指標を含む。画像データ取得部２３は、取得した動画像データを記憶部２９に記憶されているユーザ情報２９ａに登録する。
図１４は、記憶部２９に記憶されているユーザ情報２９ａの一例を示す図である。
ユーザ情報２９ａは、ユーザＩＤ、名前、年齢、性別、介護度、麻痺の有無、質問項目および検査項目の項目ＩＤ、回答、運動指標、画像データ、運動指標の評価、発話指標、音声データ、発話指標の評価、発話指標の評価、ならびに、管理指導項目名および運動プログラム名を含む。なお、名前、年齢、性別、介護度については紙面の都合上記載を省略する。
例えば、ユーザＩＤ「ｕ１」の対象ユーザ５０の運動指標「舌の突出」に対して動画像データ「ｖｉ１」が登録され、同じ対象ユーザ５０の運動指標「舌の右移動」に対して動画像データ「ｖｉ２」が登録される。
再び図１３を参照して、音声データ取得部３０は、通信部２１を介して対象ユーザ５０の各発話指標に関する音声データを取得する。例えば、発話指標は、「最長発声持続時間」、「構音の反復回数」、「構音の明瞭度」、「声の大きさ」の４つの指標を含む。なお、「構音の反復回数」および「構音の明瞭度」は、それぞれ、単音「Ｐａ」、「Ｔａ」および「Ｋａ」ごとに評価される。
図１４を参照して、例えば、ユーザ情報２９ａには、ユーザＩＤ「ｕ１」の対象ユーザ５０の「最長発声持続時間」を評価するための音声データ「ｖｏ１」が登録される。また、同じ対象ユーザ５０の単音「Ｐａ」についての「構音の反復回数」および「構音の明瞭度」と、「声の大きさ」とを評価するための音声データ「ｖｏ２」が登録される。さらに、同じ対象ユーザ５０の単音「Ｔａ」についての「構音の反復回数」および「構音の明瞭度」を評価するための音声データ「ｖｏ３」が登録される。単音「Ｋａ」についても同様の音声データが登録される。
再び図１３を参照して、特徴量抽出部２４は、画像データ取得部２３が取得した画像データから、運動指標に対する評価を特徴量として抽出し、音声データ取得部３０が取得した音声データから、発話指標に関する評価を特徴量として抽出する。
具体的には、特徴量抽出部２４は、各運動を対象ユーザ５０が実際に行った動画像データに基づいて、対象ユーザ５０の各運動指標の評価を行う。運動指標の評価には、ディープニューラルネットワークなどにより構成される学習済みモデル２９ｅを使用する。この学習済みモデル２９ｅは、動画像データと、運動指標の評価（十分、不十分、不可）との組を学習データとして、ディープニューラルネットワークのパラメータをディープラーニングにより機械学習することにより得られる。これにより、動画像データを入力として、運動指標の評価を出力する学習済みモデル２９ｅが得られる。学習済みモデル２９ｅは、運動指標ごとに作成され、事前に記憶部２９に記憶されているものとする。特徴量抽出部２４は、記憶部２９から、評価対象とする運動指標の学習済みモデル２９ｅを読み出し、読み出した学習済みモデル２９ｅに、運動指標に対応した動画像データを入力することにより、対象ユーザ５０の最も確率の高い評価を得る。
また、特徴量抽出部２４は、対象ユーザ５０が発話した音声データに基づいて、各発話指標の評価を行う。特徴量抽出部２４は、発話指標「最長発声持続時間」については、音声データの時間から評価する。例えば、音声データの時間が１０秒以上の場合には「十分」と評価し、１０秒未満の場合には「不十分」と評価する。また、音声データが得られていない場合や音声の音量が小さい場合などには「不可」と評価する。また、特徴量抽出部２４は、発話指標「構音の反復回数」については、音声データを音声分析することにより評価する。例えば、特徴量抽出部２４は、単音「Ｐａ」を発声したユーザＩＤ「ｕ１」の音声データ「ｖｏ２」を音声分析することにより、単音「Ｐａ」についての発話指標「構音の反復回数」の評価を得る。一般に、１秒間に単音が４回以上発話されていれば、構音の反復回数は「十分」と評価され、１〜３回発話されていれば、「不十分」と評価され、発話されていなければ、「不可」と評価される。特徴量抽出部２４は、発話指標「構音の明瞭度」および「声の大きさ」の評価には、ディープニューラルネットワークなどにより構成される学習済みモデル２９ｆを使用する。この学習済みモデル２９ｆは、音声データと、発話指標の評価との組を学習データとして、ディープニューラルネットワークのパラメータをディープラーニングにより機械学習することにより得られる。これにより、音声データを入力として、発話指標の評価を出力する学習済みモデル２９ｆが得られる。学習済みモデル２９ｆは、各単音の発話指標ごとに用意される。また、学習済みモデル２９ｆは、事前に記憶部２９に記憶されているものとする。特徴量抽出部２４は、記憶部２９から対象とする単音および発話指標の学習済みモデル２９ｆを読み出し、読み出した学習済みモデル２９ｆに、対象とする単音を発話した対象ユーザ５０の音声データを入力することにより、最も確率の高い評価を得る。
また、特徴量抽出部２４は、音声データ「ｖｏ２」を、単音「Ｐａ」および発話指標「構音の明瞭度」用の学習済みモデル２９ｆに入力する。特徴量抽出部２４は、学習済みモデル２９ｆから、単音「Ｐａ」についての発話指標「構音の明瞭度」の評価を得る。発話指標「構音の明瞭度」の評価には、「明瞭」および「不明瞭」の２段階がある。発話指標「構音の明瞭度」の評価は、一般に言語聴覚士により行われる。学習済みモデル２９ｆは、それをモデル化したものである。単音「Ｔａ」および単音「Ｋａ」についても同様である。
また、特徴量抽出部２４は、音声データ「ｖｏ２」を、発話指標「声の大きさ」用の学習済みモデル２９ｆに入力する。特徴量抽出部２４は、学習済みモデル２９ｆから、発話指標「声の大きさ」の評価を得る。発話指標「声の大きさ」の評価には、「十分」、「不十分」および「不可」の３段階がある。発話指標「声の大きさ」の評価は、一般に言語聴覚士により行われる。学習済みモデル２９ｆは、それをモデル化したものである。なお、発話指標「声の大きさ」用の学習済みモデル２９ｆに入力する音声データは、単音「Ｐａ」を発声したものに限定されず、単音「Ｔａ」または単音「Ｋａ」を発声した音声データであってもよいし、それ以外の音を発声した音声データであってもよい。
特徴量抽出部２４は、運動指標に関する評価および発話指標に関する評価を、記憶部２９のユーザ情報２９ａに登録する。図１４を参照して、例えば、ユーザＩＤ「ｕ１」の対象ユーザ５０の運動指標「舌の突出」に対して評価「不可」が登録され、発話指標「最長発声持続時間」に対して評価「不十分」が登録される。他の指標についても同様に登録される。
再び図１３を参照して、特徴量取得部３１は、対象ユーザ５０の口腔の質問項目および検査項目に対する回答を、対象ユーザ５０の機能に関連する特徴量として取得する。
ここで、質問項目とは、主に対象ユーザ５０自身が主観で回答する項目である。また、検査項目とは、対象ユーザ５０を客観的に観察するための項目であり、観察項目とも呼ばれる。検査項目についても、原則的に対象ユーザ５０自身が回答する。ただし、質問項目および検査項目のそれぞれについて対象ユーザ５０による回答が困難な場合には、介護者等が回答してもよい。
例えば、質問項目「義歯を使用していますか」に対する回答として「１．いいえ」と「２．はい」が用意されている。また、質問項目「自分の歯または入れ歯で左右の奥歯をしっかりかみしめられますか」に対する回答として、「１．両方できる」、「２．片方だけできる」および「３．どちらもできない」が用意されている。
また、質問項目として噛む力もある。噛む力は、後述する食事マップを用いて質問される。噛む力に対する回答には、「１．弱い」、「２．中程度」および「３．強い」がある。
また、検査項目には、反復唾液嚥下検査（ＲＳＳＴ）が用いられる。これは、３０秒間に唾を飲み込むことのできる回数を検査するものであり、ＲＳＳＴに対する回答として、「１．十分」、「２．不十分」、「３．不可」が用意されている。ＲＳＳＴは看護師または言語聴覚士により判定され、上記回数が３回以上であれば「１．十分」と判定され、１〜２回であれば「２．不十分」と判定され、０回であれば「３．不可」と判定される。
また、口腔衛生に対する検査項目および回答も用意されている。例えば、検査項目「歯や義歯の汚れ」に対する回答として、「１．ない」、「２．ある」および「３．多い」が用意されている。また、検査項目「舌の汚れ」に対する回答として、「１．ない」、「２．ある」および「３．多い」が用意されている。口腔衛生に対する検査項目については、例えば、看護師、言語聴覚士または介護職などが回答する。
特徴量取得部３１は、端末装置４０から、質問項目または検査項目を識別する項目ＩＤと回答との組を、対象ユーザ５０のユーザＩＤと併せて取得する。特徴量取得部３１は、取得した項目ＩＤおよび回答の組を、ユーザＩＤと対応付けて記憶部２９のユーザ情報２９ａに登録する。
運動プログラム決定部２５は、記憶部２９に記憶されている学習済みモデル２９ｇに基づいて、対象ユーザ５０の属性と、特徴量抽出部２４が抽出した特徴量と、特徴量取得部３１が取得した特徴量とから、対象ユーザ５０の機能（ここでは、対象ユーザ５０の言語または口腔に関する機能）を改善するための管理指導項目および運動プログラムを決定する。管理指導項目および運動プログラムには、ディープニューラルネットワークなどにより構成される学習済みモデル２９ｇを使用する。
学習済みモデル２９ｇは、複数のユーザについて、各ユーザの属性、項目ＩＤおよび回答の組、運動指標および評価の組、発話指標および評価の組、ならびに各ユーザが実行した管理指導項目および運動プログラムを学習用データとして、ディープニューラルネットワークのパラメータをディープラーニングにより機械学習することにより得られる。学習済みモデル２９ｇは、対象ユーザ５０の属性と、項目ＩＤおよび回答の組と、運動指標および評価の組と、発話指標および評価の組とに対応する、最も確率の高い管理指導項目名および運動プログラム名を出力するモデルである。
運動プログラム決定部２５は、決定した管理指導項目の識別情報である管理指導項目名および運動プログラムの識別情報である運動プログラム名を、記憶部２９のユーザ情報２９ａに登録する。管理指導項目には、例えば、口腔機能向上に関する情報提供、口腔掃除の支援などの各種指導項目が含まれる。また、運動プログラムには、例えば、口腔体操、嚥下体操、唾液腺マッサージ、呼吸や飲み込み等の機能訓練などの各種プログラムが含まれる。なお、運動プログラム決定部２５が決定する管理指導項目は、上述したような各種指導項目を組み合わせたものであり、運動プログラム決定部２５が決定する運動プログラムは、上述したような各種プログラムを組み合わせたものである。
図１４を参照して、例えば、ユーザ情報２９ａには、ユーザＩＤ「ｕ１」の対象ユーザ５０の機能改善のために決定された管理指導項目の名称として「ｍ１」が登録され、対象ユーザ５０の機能改善のために決定された運動プログラムの名称として「ｔ１」が登録される。
情報提供部２６は、運動プログラム決定部２５が決定した管理指導項目の内容および運動プログラムの内容、または管理指導項目名および運動プログラム名を、通信部２１を介して端末装置４０に送信する。
学習用データ取得部２７は、学習済みモデル２９ｇを再学習するための学習用データを取得する。例えば、学習用データ取得部２７は、図１４に示したユーザＩＤ「ｕ１」の対象ユーザ５０についてのユーザ情報を、学習用データとして取得する。学習用データ取得部２７は、ユーザＩＤ「ｕ２」等の他の対象ユーザ５０についても同様に、ユーザ情報を、学習用データとして取得する。
機械学習部２８は、学習用データ取得部２７が取得した学習用データに基づいて、学習済みモデル２９ｇのパラメータをさらにディープラーニングにより機械学習することにより、学習済みモデル２９ｇを更新する。
機械学習部２８は、更新後の学習済みモデル２９ｇを記憶部２９に記憶させる。
＜端末装置４０の構成＞
図１５は、端末装置４０の構成を示すブロック図である。
端末装置４０は、図２に示した端末装置４０の構成に加え、マイク４７と、音声データ提供部４８とを備える。
マイク４７は、ユーザの音声を集音し、音声データを音声データ提供部４８に出力する。
音声データ提供部４８は、マイク４７が生成した音声データを、ユーザＩＤとともに、通信部４１を介して機能改善支援装置２０に送信する。
運動プログラム取得部４４は、通信部４１を介して機能改善支援装置２０から、対象ユーザ５０の言語または口腔の機能を改善するための管理指導項目および運動プログラムの内容を示す情報を取得する。
運動プログラム取得部４４は、取得した情報に基づいて、管理指導項目および運動プログラムを示す画像データを表示部４５に表示させる。
入力部４６は、対象ユーザ５０の属性の他、質問項目および検査項目に対する回答の入力を受け付け、受け付けたデータを通信部４１に出力する。通信部４１は、入力部４６から受けたデータを、対象ユーザ５０のユーザＩＤと対応付けて、ネットワーク２を介して機能改善支援装置２０に送信する。
＜機能改善支援システム１の処理手順＞
次に、機能改善支援システム１の処理手順の一例について説明する。
図１６および図１７は、機能改善支援システム１の処理手順を示すシーケンス図である。なお、図１６に示すシーケンスの続きとして、図１７に示すシーケンスが実行される。
ステップＳ１からＳ６までの処理は、図５に示したステップＳ１からＳ６までの処理と同様である。
ステップＳ６において、すべての回答が「はい」の場合には、表示部４５は、メニュー画面を表示する（Ｓ２１）。図１８は、メニュー画面の一例を示す図である。メニュー画面には、検査および判定対象の６つの項目（「口腔機能検査（質問項目）」、「噛む力検査（食事マップ）」、「反復唾液嚥下検査（ＲＳＳＴ）」、「口腔衛生検査」、「表情認識（口・舌）判定」、「音声（呼気、発音、発声）判定」）が表示される。
操作者が項目「口腔機能検査（質問項目）」をタップすることにより選択すると（Ｓ２２）、表示部４５は、口腔機能検査画面を表示する（Ｓ２３）。図１９および図２０は、口腔機能検査画面の一例を示す図である。図１９および図２０の口腔機能検査画面には、口腔機能検査に関する１６個の質問項目が含まれる。図２０の画面は、図１９の画面の続きとして表示される。画面上には、質問と、その質問に対するそれぞれ２以上の組からなる回答ボタン１２１〜１３６とが表示されている。なお、図１９および図２０に示す質問項目はあくまでも例示であり、これらのうち、いずれかの項目が含まれていなくてもよいし、図１９および図２０に示した項目以外の他の質問項目が含まれていてもよい。
操作者は、入力部４６を操作して、回答ボタン１２１〜１３６を押し、最後に保存ボタン１３７を押すことにより、１６個の質問に回答する（Ｓ２４）。例えば、操作者は、質問項目「義歯を使用していますか」に対して「はい」と回答している。
通信部４１は、１６個の質問の項目ＩＤと回答とを機能改善支援装置２０に送信し、機能改善支援装置２０の特徴量取得部３１は、項目ＩＤおよび回答を特徴量として取得する（Ｓ２５）。
特徴量取得部３１は、取得した項目ＩＤおよび回答をユーザ情報２９ａに登録する（Ｓ２６）。
次に、表示部４５は、図１８に示したようなメニュー画面を再度表示する（Ｓ２７）。
操作者が項目「噛む力検査（食事マップ）」をタップすることにより選択すると（Ｓ２８）、表示部４５は、噛む力検査画面を表示する（Ｓ２９）。図２１は、噛む力検査画面の一例を示す図である。噛む力検査画面には、対象とする食品の写真またはイラスト（ここでは、ご飯のイラスト）と、回答ボタン１４４、１４５とが表示される。図２１は、対象ユーザ５０がご飯を噛めるか否かを操作者に回答させる画面である。操作者は、対象ユーザ５０がご飯が噛める場合には回答ボタン１４４を押下し、ご飯が噛めない場合には回答ボタン１４５を押下することにより、回答する（Ｓ３０）。表示部４５は、ご飯以外の各食品についても、図２１と同様の噛む力検査画面を順次表示する。なお、噛む力検査画面の表示順は、ランダムな順番であってもよいし、予め定められた順番であってもよい。これにより、操作者は、対象ユーザ５０が各食品を噛むことができるか否かを回答する（Ｓ２９およびＳ３０の繰り返し）。対象とするすべての食品への回答が終了すると、表示部４５は、噛む力検査結果画面を表示する（Ｓ２９Ａ）。
図２２は、噛む力検査結果画面の一例を示す図である。噛む力検査結果画面には、食事マップ１４１と、結果表示ボタン１４２と、保存ボタン１４３とが表示される。食事マップ１４１は、ユーザの噛む力を５段階で評価するために、食物の指標をマップ化したものである。５段階のうち数字が大きくなるにつれ噛む力が強いと判定される。つまり、１段階が最も噛む力が弱く、５段階が最も噛む力が強いと判定される。食事マップ１４１には、段階ごとに噛む力を評価するための指標となる食物名が示されている。内側から外側に行くにつれ段階の高い同心円を示している。各同心円内の食物を噛むことができるか否かに応じてユーザの噛む力が判定される。例えば、ステーキ、フランスパン、およびたくわんを噛むことができるユーザは、噛む力が段階５であると判定される。また、ステーキ、フランスパン、およびたくわんを噛むことができないが、おこわ、かりんとう、およびこんにゃくを噛むことができるユーザは、噛む力が段階４であると判定される。
結果表示ボタン１４２のいずれかに、噛む力検査の結果が表示される。ここでは、「弱い（１、２）」と書かれた結果表示ボタン１４２が白抜き表示されていることより、対象ユーザ５０の噛む力が弱いことが分かる。その後、操作者が保存ボタン１４３を押すと、通信部４１は、噛む力に対する質問の項目ＩＤおよび回答を機能改善支援装置２０に送信し、機能改善支援装置２０の特徴量取得部３１は、項目ＩＤおよび回答を特徴量として取得する（Ｓ３１）。
特徴量取得部３１は、取得した項目ＩＤおよび回答をユーザ情報２９ａに登録する（Ｓ３２）。
次に、表示部４５は、図１８に示したようなメニュー画面を再度表示する（Ｓ３３）。
操作者が項目「反復唾液嚥下検査（ＲＳＳＴ）」をタップすることにより選択すると（Ｓ３４）、表示部４５は、反復唾液嚥下検査画面を表示する（Ｓ３５）。図２３は、反復唾液嚥下検査画面の一例を示す図である。反復唾液嚥下検査画面には、回数入力欄１５１と、回答ボタン１５２と、保存ボタン１５３とが表示される。回数入力欄１５１は、３０秒間に唾をのみ込むことのできる回数を入力するための欄である。回答ボタン１５２は、ＲＳＳＴの判定結果を入力するためのボタンである。操作者が回数入力欄１５１に回数を入力し、いずれかの回答ボタン１５２を押した後に、保存ボタン１５３を押すことにより、ＲＳＳＴの質問に対して回答する（Ｓ３６）。例えば、操作者は、回数入力欄１５１に「２」と入力し、回答ボタン１５２を押すことにより「２．不十分」と回答する。
通信部４１は、ＲＳＳＴに対する項目ＩＤおよび質問を機能改善支援装置２０に送信し、機能改善支援装置２０の特徴量取得部３１は、項目ＩＤおよび回答を特徴量として取得する（Ｓ３７）。
特徴量取得部３１は、取得した項目ＩＤおよび回答をユーザ情報２９ａに登録する（Ｓ３８）。
図１７を参照して、次に、表示部４５は、図１８に示したようなメニュー画面を再度表示する（Ｓ３９）。
操作者が項目「口腔衛生検査」をタップすることにより選択すると（Ｓ４０）、表示部４５は、口腔衛生検査画面を表示する（Ｓ４１）。図２４は、口腔衛生検査画面の一例を示す図である。口腔衛生に対する４つの検査項目が含まれる。画面上には、検査項目ごとに、検査項目に対する３つの組からなる回答ボタン１６１〜１６４が表示されている。
操作者は、入力部４６を操作して、回答ボタン１６１〜１６４を押し、保存ボタン１６５を押すことにより検査項目に対して回答する（Ｓ４２）。例えば、操作者は、「歯や義歯の汚れ」に対する検査項目に対して、回答ボタン１６１を押すことにより「多い」と回答する。
通信部４１は、口腔衛生検査の各検査項目に対する項目ＩＤおよび回答を機能改善支援装置２０に送信し、機能改善支援装置２０の特徴量取得部３１は、項目ＩＤおよび回答を特徴量として取得する（Ｓ４３）。
特徴量取得部３１は、取得した項目ＩＤおよび回答をユーザ情報２９ａに登録する（Ｓ４４）。
次に、表示部４５は、図１８に示したようなメニュー画面を再度表示する（Ｓ４５）。
操作者が項目「表情認識（口・舌）判定」をタップすることにより選択すると（Ｓ４６）、表示部４５は、撮影画面を表示する（Ｓ４７）。図２５は、撮影画面の一例を示す図である。撮影画面のカメラ映像領域１７１には、カメラ４２で撮影中の動画像データが表示される。撮影ボタン１７２は、カメラ４２による撮影を開始および終了するボタンである。リセットボタン１７３は、カメラ４２による撮影をリセットするボタンである。見本映像領域１７４は、６つの口周辺の運動（「舌の突出」、「舌の右移動」、「舌の左移動」、「口唇を引く」、「口唇の突出」および「下顎の下制」）の見本動作を順に表示する領域である。対象ユーザ５０は見本動作に合わせて口周辺の運動を行い、操作者が撮影ボタン１７２を操作しながら対象ユーザ５０の撮影を行う。操作者が保存ボタン１７５を押すことにより、処理が終了する。
画像データ提供部４３は、６つの運動を収録した対象ユーザ５０の動画像データを、対象ユーザ５０のユーザＩＤと対応付けて、通信部４１を介して機能改善支援装置２０に送信する（Ｓ４８）。
機能改善支援装置２０の画像データ取得部２３は、端末装置４０から動画像データを受信し、ユーザ情報２９ａに登録する（Ｓ４９）。
次に、表示部４５は、図１８に示したようなメニュー画面を再度表示する（Ｓ５０）。
操作者が項目「音声（呼気、発音、発声）判定」をタップすることにより選択すると（Ｓ５１）、表示部４５は、第１録音画面を表示する（Ｓ５２）。図２６は、第１録音画面の一例を示す図である。第１録音画面は、最長発声持続時間を計る検査のための画面であり、アイコン１８１は、録音の開始を指示するためのボタンである。発声時間表示欄１８２には、録音を開始してからの時間が示される。例えば、操作者がアイコン１８１をタップしてから画面に「スタート」の文字が表示された後に、対象ユーザ５０が単音（例えば、「アー」）を持続発声させる。すると、音声データ提供部４８は、対象ユーザ５０の音声を録音する。また、発声時間表示欄１８２には、対象ユーザ５０の発声持続時間が表示される。
操作者が保存ボタン１８３を押すと、音声データ提供部４８は、録音された対象ユーザ５０の音声データを、通信部４１を介して機能改善支援装置２０に送信する（Ｓ５３）。
機能改善支援装置２０の音声データ取得部３０は、端末装置４０から音声データを受信し、ユーザ情報２９ａに登録する（Ｓ５４）。
次に、表示部４５は、第２録音画面を表示する（Ｓ５５）。図２７は、第２録音画面の一例を示す図である。第２録音画面は、「構音の反復回数」、「構音の明瞭度」および「声の大きさ」を評価するための音声を録音するための画面である。アイコン１８１は、録音の開始を指示するためのボタンである。対象ユーザ５０は、アイコン１８１を押した後に指示に従って、単音「Ｐａ」、「Ｔａ」および「Ｋａ」のそれぞれを繰り返し発声すると、音声データ提供部４８は、各単音の音声データを録音する。また、回数表示欄１８４〜１８６には、単音「Ｐａ」、「Ｔａ」および「Ｋａ」の１秒間当たりの構音の反復回数が示される。構音の反復回数は、音声データ提供部４８が音声データを解析することにより計測してもよいし、操作者が回数表示欄１８４〜１８６に入力するようにしてもよい。操作者が保存ボタン１８３を押すと、音声データ提供部４８は、録音された単音「Ｐａ」、「Ｔａ」および「Ｋａ」の音声データを、通信部４１を介して機能改善支援装置２０に送信する（Ｓ５６）。
機能改善支援装置２０の音声データ取得部３０は、端末装置４０から音声データを受信し、ユーザ情報２９ａに登録する（Ｓ５７）。
特徴量抽出部２４は、ステップＳ４８で取得された画像データ、並びにステップＳ５４およびＳ５７で取得された音声データに基づいて、運動指標および発話指標をそれぞれ評価する（Ｓ５８）。
運動プログラム決定部２５は、記憶部２９に記憶されている学習済みモデル２９ｇに基づいて、対象ユーザ５０の属性と、ステップＳ５８における評価結果とから、対象ユーザ５０の機能（言語または口腔に関する機能）を改善するための管理指導項目および運動プログラムを決定する（Ｓ５９）。
情報提供部２６は、決定された管理指導項目および運動プログラムの情報を、通信部２１を介して端末装置４０に送信し、端末装置４０の運動プログラム取得部４４は、これらを受信する（Ｓ６０）。なお、情報提供部２６は、上記情報と併せて、ステップＳ５８における評価結果も送信する。
表示部４５は、対象ユーザ５０の機能に関する解析結果を示す解析画面を表示する（Ｓ６１）。
図２８は、解析画面の一例を示す図である。図２８に示す解析画面は、ステータス結果欄２６１と、運動プログラム欄２６２と、頭顔部モデル２６３とを含む。
表示部４５は、ステータス結果欄２６１に、検査または判定において機能障害の原因とされる指標の項目を表示する。例えば、「画像判定」の欄には、図２５に示した表情認識判定において、「不可」または「不十分」と判定された指標が表示される。ここでは、指標「舌の突出」および「口唇を引く」が指標の評価とともに表示されている。
また、「音声判定」の欄には、図２６に示した「最長発声持続時間」の判定または図２７に示した「構音の反復回数」、「構音の明瞭度」および「声の大きさ」の判定において、「不可」、「不十分」または「不明瞭」と判定された指標が指標の評価とともに表示される。ここでは、指標「最長発声持続時間」が指標の評価（８秒（不十分））とともに表示されている。
また、「口腔機能の質問項目」の欄には、図１９および図２０に示した対象ユーザ５０への質問項目において、「はい」や、「どちらもできない」、「全然良くない」または「悪い」などの予め定められた回答がなされた質問項目が回答とともに表示される。ここでは、質問項目「義歯を使用していますか」および「お茶や汁物等でむせることはありますか」が、回答とともに表示されている。
また、「噛む力」の欄には、図２２に示した噛む力検査における判定結果（指標の評価）が表示される。ここでは、判定結果として、「弱い」が表示されている。
また、「反復唾液嚥下検査」の欄には、図２３に示した反復唾液嚥下検査において、「不十分」または「不可」と判定された場合に、その判定結果（指標の評価）が表示される。
また、「口腔衛生」の欄には、図２４に示した口腔衛生検査において、「ある」、「多い」、「不十分」または「不可」と判定された指標が指標の評価とともに表示される。ここでは、「歯や義歯の汚れ」および「舌の汚れ」が指標の評価（多い、ある）とともに表示されている。
表示部４５は、運動プログラム欄２６２に、決定された運動プログラムの名前を表示する。例えば、図１８に示した６つの項目についての評価（例えば、ステータス結果欄２６１に示した評価）に基づいて決定された、２つの運動プログラム「くちすぼめ運動」および「連続発声練習」が表示される。
また、表示部４５は、運動プログラムに対応する部位を、頭顔部モデル２６３上に示す。例えば、表示部４５は、当該部位の筋肉を点滅または発光させたり、他の部位と異なる色で色分け表示したりする。
操作者が運動プログラム欄２６２に表示された運動プログラムの中から、いずれかを選択すると、端末装置４０の表示部４５は、運動説明画面を表示する（Ｓ６２）。図２９は、運動説明画面の一例を示す図である。運動説明画面は、運動プログラムの内容を示す画面であり、運動プログラム欄１９１と、解析結果ボタン１９２とを含む。運動プログラム欄１９１には、ステップＳ５９で決定された運動プログラムを説明するための動画像データが表示される。この動画像データは、例えば、リズムに合わせて舌や表情を動かす運動や、発声トレーニングや、顔を動かして表情でジャンケンを行うゲームなどのコンテンツ動画を含む。運動説明画面上で解析結果ボタン１９２を押すことにより、解析画面に戻ることができる。
また、表示部４５は、運動プログラム取得部４４が機能改善支援装置２０から受信した管理指導項目および運動プログラムの内容に基づいて作成する口腔機能向上サービスの管理指導計画を表示する（Ｓ６３）。
図３０は、管理指導計画の一例を示す図である。
当該管理指導計画には、対象ユーザ５０に実施する管理指導項目と運動プログラムとが示されている。例えば、管理指導項目として、専門職による「口腔機能向上に関する情報提供」が示されている。また、運動プログラムとして、専門職による「口腔体操・嚥下体操」および「唾液腺マッサージ」と、関連職による「口腔体操・嚥下体操」と、本人による家庭での「口腔体操・嚥下体操と」が示されている。
なお、端末装置４０は、実施の形態１と同様に、学習済みモデル２９ｄを再学習することも可能である。
＜実施の形態２の効果＞
以上説明したように、本発明の実施の形態２によると、対象ユーザ５０の言語または口腔の質問項目および検査項目に対する回答と、対象ユーザ５０の言語または口腔の評価項目に対する口腔専門職による評価とが取得され、取得された回答および評価を学習済みモデル２９ｇに入力することにより、当該対象ユーザ５０の言語または口腔に関連する機能を改善するための管理指導項目および運動プログラムを決定することができる。これにより、例えば、構音障害または嚥下障害のある複数の対象ユーザ５０に対して、同じ管理指導項目および運動プログラムを提供するのではなく、対象ユーザ５０ごとに最も効果的な管理指導項目および運動プログラムを決定して、提供することができる。
［実施の形態２の変形例］
図２８に示したように、実施の形態２では、図１８に示した６つの項目についての評価を、解析画面のステータス結果欄２６１に表示した。これに対して、項目ごとに当該項目に対する評価を解析画面を表示するようにしてもよい。以下では、項目ごとに表示される解析画面について説明する。
図３１は、図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。
図３１に示す解析画面は、対象ユーザ５０が、６つの口周辺の運動（「舌の突出」、「舌の右移動」、「舌の左移動」、「口唇を引く」、「口唇の突出」および「下顎の下制」）のいずれかができていない場合に表示される。解析画面は、カメラ映像領域２０１と、ステータス項目領域２０２と、運動プログラム欄２０３と、頭顔部モデル２０４とを含む。表示部４５は、カメラ映像領域２０１に、録画した対象ユーザ５０の６つの運動の動画像データを表示する。また、表示部４５は、ステータス項目領域２０２に、不十分または不可と判定された運動の指標にチェック印をつけて表示する。ここでは、「舌の突出」と「口唇を引く」ができていなかったことが示されている。また、表示部４５は、運動プログラム欄２０３に、決定された運動プログラムの名前を表示する。また、表示部４５は、不十分または不可と判定された運動に対応する部位を、頭顔部モデル２０４上に示す。例えば、表示部４５は、当該部位の筋肉を点滅または発光させたり、他の部位と異なる色で色分け表示したりする。
図３２は、図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。図３２に示す解析画面は、対象ユーザ５０が、発話指標「最長発声持続時間」、「構音の反復回数」、「構音の明瞭度」および「声の大きさ」のいずれかが不十分、不可または不明瞭と判定された場合に表示される。解析画面は録音音声領域２１１と、ステータス項目領域２１２と、運動プログラム欄２１３と、頭顔部モデル２１４とを含む。表示部４５は、録音音声領域２１１に、録音した対象ユーザ５０の音声を再生するためのボタンを表示する。操作者がボタンを奏することにより、スピーカー（図示せず）が録音音声を再生する。また、表示部４５は、ステータス項目領域２１２に、不十分、不可または不明瞭と判定された発話指標にチェック印をつけて表示する。ここでは、「最長発声持続時間」と「構音の明瞭度」が不十分、不可または不明瞭であったことが示されている。また、表示部４５は、運動プログラム欄２１３に、決定された運動プログラムの名前を表示する。また、表示部４５は、不十分、不可または不明瞭と判定された発話指標に対応する部位を、頭顔部モデル２１４上に示す。部位の表示方法は、図３１と同様である。なお、操作者が運動プログラム欄２１３に表示された運動プログラムの中から、いずれかを選択すると、端末装置４０の表示部４５は、図２９に示したような運動説明画面を表示する。
図３３は、図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。図３３に示す解析画面は、対象ユーザ５０への質問項目に対してできていないものがある場合に表示される。解析画面は、回答表示欄２２１と、運動プログラム欄２２２と、頭顔部モデル２２３とを含む。表示部４５は、カメラ映像領域２０１に、図１９および図２０に示した１６個の質問項目およびその回答を表示する。表示部４５は、運動プログラム欄２２２に、決定された運動プログラムの名前を表示する。また、表示部４５は、できていないと回答した質問項目に対応する部位を、頭顔部モデル２２３上に示す。部位の表示方法は、図３１と同様である。なお、操作者が運動プログラム欄２２２に表示された運動プログラムの中から、いずれかを選択すると、端末装置４０の表示部４５は、図２９に示したような運動説明画面を表示する。
図３４は、図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。図３４に示す解析画面は、噛む力検査の判定結果に応じて表示される。解析画面は、食事マップ２３１と、判定結果欄２３２と、運動プログラム欄２３３と、頭顔部モデル２３４とを含む。食事マップ２３１は、図２２に示した食事マップ１４１と同様である。表示部４５は、判定結果欄２３２に、図２２に示した噛む力検査画面での回答結果を表示する。また、表示部４５は、運動プログラム欄２３３に、決定された運動プログラムの名前を表示する。また、表示部４５は、判定結果欄２３２に示した判定結果に対応する部位を、頭顔部モデル２３４上に示す。部位の表示方法は、図３１と同様である。なお、操作者が運動プログラム欄２３３に表示された運動プログラムの中から、いずれかを選択すると、端末装置４０の表示部４５は、図２９に示したような運動説明画面を表示する。
図３５は、図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。図３５に示す解析画面は、反復唾液嚥下検査で不十分または不可と判定された場合に表示される。解析画面は、回数表示欄２４１と、判定結果欄２４２と、運動プログラム欄２４３と、頭顔部モデル２４４とを含む。表示部４５は、回数表示欄２４１に、反復唾液嚥下検査の回数を表示する。また、表示部４５は、判定結果欄２４２に、反復唾液嚥下検査の判定結果を表示する。この判定結果は、図２３に示した反復唾液嚥下検査画面での回答結果と同じである。また、表示部４５は、運動プログラム欄２４３に、決定された運動プログラムの名前を表示する。また、表示部４５は、反復唾液嚥下検査の判定結果に対応する部位を、頭顔部モデル２４４上に表示する。部位の表示方法は、図３１と同様である。なお、操作者が運動プログラム欄２４３に表示された運動プログラムの中から、いずれかを選択すると、端末装置４０の表示部４５は、図２９に示したような運動説明画面を表示する。
図３６は、図１７のステップＳ６１で表示される解析画面の他の一例を示す図である。図３６に示す解析画面は、口腔衛生検査で問題があると判定された場合に表示される。解析画面は、判定結果欄２５１と、運動プログラム欄２５２と、口腔内モデル２５３とを含む。表示部４５は、判定結果欄２５１に、図２４の口腔衛生検査画面に示した検査項目および回答を表示する。また、表示部４５は、運動プログラム欄２５２に、決定された運動プログラムの名前を表示する。また、表示部４５は、口腔内モデル２５３に、口腔衛生検査で問題があると判定された箇所を表示する。例えば、舌の汚れがある場合には、舌の部分を点滅または発光させて表示する。なお、当該箇所を他の箇所と色分け表示してもよい。なお、操作者が運動プログラム欄２５２に表示された運動プログラムの中から、いずれかを選択すると、端末装置４０の表示部４５は、図２９に示したような運動説明画面を表示する。
［付記］
上述の実施の形態では、ディープラーニングにより各モデルのパラメータを学習することとしたが、強化学習によりモデルの学習を行うことも可能である。
例えば、学習済みモデル２９ｄにおいて、対象ユーザ５０の属性と、指標に関する評価とを強化学習における状態とし、運動プログラム名を強化学習における行動とし、対象ユーザ５０の機能の改善度合いを強化学習における報酬として、学習済みモデル２９ｄの強化学習を行う。これにより、対象ユーザ５０の属性および指標に関する評価を入力として、対象ユーザ５０の機能の改善度合いを最大化するような運動プログラム名を出力する学習済みモデル２９ｄを作成することができる。
また、学習済みモデル２９ｇにおいて、対象ユーザ５０の属性と、項目ＩＤおよび回答の組と、運動指標および評価の組と、発話指標および評価の組とを強化学習における状態とし、管理指導項目名および運動プログラム名を強化学習における行動とし、対象ユーザ５０の機能の改善度合いを強化学習における報酬として、学習済みモデル２９ｇの強化学習を行う。これにより、対象ユーザ５０の属性と、項目ＩＤおよび回答の組と、運動指標および評価の組と、発話指標および評価の組とを入力として、対象ユーザ５０の機能の改善度合いを最大化するような管理指導項目名および運動プログラム名を出力する学習済みモデル２９ｇを作成することができる。
なお、強化学習を深層強化学習とすることもでき、これにより、モデルを多層ニューラルネットワークで表現することもできる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１ 機能改善支援システム
２ ネットワーク
２０ 機能改善支援装置
２１ 通信部
２２ 入力データ取得部
２３ 画像データ取得部
２４ 特徴量抽出部
２５ 運動プログラム決定部
２６ 情報提供部
２７ 学習用データ取得部
２８ 機械学習部
２９ 記憶部
２９ａ ユーザ情報
２９ｂ モデル
２９ｃ モデル
２９ｄ モデル
２９ｅ モデル
２９ｆ モデル
２９ｇ モデル
３０ 音声データ取得部
３１ 特徴量取得部
４０ 端末装置
４１ 通信部
４２ カメラ
４３ 画像データ提供部
４４ 運動プログラム取得部
４５ 表示部
４６ 入力部
４７ マイク
４８ 音声データ提供部
５０ 対象ユーザ
６１ ＩＤ入力欄
６２ ＯＫボタン
６３ 名前入力欄
６４ 誕生日入力欄
６５ 年齢表示欄
６６ 性別選択ボタン
６７ 介護度選択ボタン
６８ 麻痺有無選択ボタン
６９ ＩＤ新規作成ボタン
７０ ＩＤ表示欄
７１ 登録ボタン
８１ 回答ボタン
８２ 回答ボタン
８３ 回答ボタン
８４ 回答ボタン
８５ 回答ボタン
８６ ＯＫボタン
９１ カメラ映像領域
９２ スタートボタン
９３ ストップボタン
９４ 見本映像領域
１０１ 運動プログラム領域
１０２ 解析結果ボタン
１１１ カメラ映像領域
１１２ ステータス項目領域
１１３ 運動プログラム欄
１１４ 人体モデル
１２１ 回答ボタン
１２２ 回答ボタン
１２３ 回答ボタン
１２４ 回答ボタン
１２５ 回答ボタン
１２６ 回答ボタン
１２７ 回答ボタン
１２８ 回答ボタン
１２９ 回答ボタン
１３０ 回答ボタン
１３１ 回答ボタン
１３２ 回答ボタン
１３３ 回答ボタン
１３４ 回答ボタン
１３５ 回答ボタン
１３６ 回答ボタン
１３７ 保存ボタン
１４１ 食事マップ
１４２ 結果表示ボタン
１４３ 保存ボタン
１４４ 回答ボタン１４４
１４５ 回答ボタン１４５
１５１ 回数入力欄
１５２ 回答ボタン
１５３ 保存ボタン
１６１ 回答ボタン
１６２ 回答ボタン
１６３ 回答ボタン
１６４ 回答ボタン
１６５ 保存ボタン
１７１ カメラ映像領域
１７２ 撮影ボタン
１７３ リセットボタン
１７４ 見本映像領域
１７５ 保存ボタン
１８１ アイコン
１８２ 発声時間表示欄
１８３ 保存ボタン
１８４ 回数表示欄
１８５ 回数表示欄
１８６ 回数表示欄
１９１ 運動プログラム欄
１９２ 解析結果ボタン
２０１ カメラ映像領域
２０２ ステータス項目領域
２０３ 運動プログラム欄
２０４ 頭顔部モデル
２１１ 録音音声領域
２１２ ステータス項目領域
２１３ 運動プログラム欄
２１４ 頭顔部モデル
２２１ 回答表示欄
２２２ 運動プログラム欄
２２３ 頭顔部モデル
２３１ 食事マップ
２３２ 判定結果欄
２３３ 運動プログラム欄
２３４ 頭顔部モデル
２４１ 回数表示欄
２４２ 判定結果欄
２４３ 運動プログラム欄
２４４ 頭顔部モデル
２５１ 判定結果欄
２５２ 運動プログラム欄
２５３ 口腔内モデル
２６１ ステータス結果欄
２６２ 運動プログラム欄
２６３ 頭顔部モデル

Claims (7)

  1. 各画素が輝度を示す２次元画像を撮影するカメラを内蔵した端末装置と、
    所定の機能の改善を支援する機能改善支援装置とを備え、
    前記端末装置は、前記カメラにより対象ユーザを撮影することにより得られる、前記所定の機能に関連する２次元の画像データを前記機能改善支援装置に送信し、
    前記機能改善支援装置は、
    前記端末装置から前記画像データを取得する画像データ取得部と、
    前記画像データ取得部が取得した前記画像データから、前記所定の機能に関連する特徴量を抽出する特徴量抽出部と、
    学習済みモデルに基づいて、前記特徴量抽出部が抽出した前記特徴量から、前記所定の機能を改善するための運動プログラムを決定する運動プログラム決定部と、
    前記運動プログラム決定部が決定した前記運動プログラムの内容を示す情報を前記端末装置に提供する情報提供部とを備え、
    前記学習済みモデルは、複数のユーザについての前記所定の機能に関連する特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルであり、
    前記所定の機能は、ユーザの動作に関連する機能であり、
    前記画像データは、所定の動作を行う前記対象ユーザを撮影することにより得られる動画像データを含み、
    前記特徴量抽出部は、前記所定の動作ができるか否かを判定するための１以上の動作の指標の各々について、前記動画像データから当該指標に関する評価を示す前記特徴量を抽出し、
    前記学習済みモデルは、複数のユーザについて、各ユーザの前記指標に関する評価を示す特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルであり、
    前記所定の動作は、片脚立位保持、座位保持、両脚立位保持、及び歩行の少なくとも１つを含む、機能改善支援システム。
  2. 前記特徴量抽出部は、
    前記動画像データに基づいて前記対象ユーザの関節位置を含む関節等位置を推定し、推定した前記関節等位置に基づいて各前記指標に関する評価を示す前記特徴量を抽出する、請求項１に記載の機能改善支援システム。
  3. 各画素が輝度を示す２次元画像を撮影するカメラを内蔵した端末装置と、
    所定の機能の改善を支援する機能改善支援装置とを備え、
    前記端末装置は、前記カメラにより対象ユーザを撮影することにより得られる、前記所定の機能に関連する２次元の画像データを前記機能改善支援装置に送信し、
    前記機能改善支援装置は、
    前記端末装置から前記画像データを取得する画像データ取得部と、
    前記画像データ取得部が取得した前記画像データから、前記所定の機能に関連する特徴量を抽出する特徴量抽出部と、
    学習済みモデルに基づいて、前記特徴量抽出部が抽出した前記特徴量から、前記所定の機能を改善するための運動プログラムを決定する運動プログラム決定部と、
    前記運動プログラム決定部が決定した前記運動プログラムの内容を示す情報を前記端末装置に提供する情報提供部とを備え、
    前記学習済みモデルは、複数のユーザについての前記所定の機能に関連する特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルであり、
    前記所定の機能は、ユーザの言語または口腔に関連する機能であり、
    前記画像データは、口、舌および下顎の少なくとも１つに関する所定の運動を行う前記対象ユーザを撮影することにより得られる画像データを含み、
    前記特徴量抽出部は、前記画像データから前記所定の運動に関する評価を前記特徴量として抽出し、
    前記学習済みモデルは、複数のユーザについて、各ユーザの前記所定の運動に関する評価を示す特徴量、ならびに各ユーザが実行した管理指導項目および運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記管理指導項目の識別情報および前記運動プログラムの識別情報を出力するモデルであり、
    前記所定の運動は、舌の突出、舌の右移動、舌の左移動、口唇を引く、及び口唇の突出の少なくとも１つを含む、機能改善支援システム。
  4. 前記端末装置は、さらに、マイクを内蔵し、
    前記端末装置は、前記対象ユーザが所定の音を発話した音声データを前記マイクを用いて取得し、取得した前記音声データを前記機能改善支援装置に送信し、
    前記機能改善支援装置は、さらに、
    前記端末装置から前記音声データを取得する音声データ取得部を備え、
    前記特徴量抽出部は、さらに、前記音声データ取得部が取得した前記音声データから前記所定の音の発話に関する評価を前記特徴量として抽出し、
    前記学習済みモデルは、複数のユーザについて、各ユーザの前記所定の運動に関する評価を示す特徴量および前記所定の音の発話に関する評価を示す特徴量、ならびに各ユーザが実行した管理指導項目および運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記管理指導項目の識別情報および前記運動プログラムの識別情報を出力するモデルである、請求項３に記載の機能改善支援システム。
  5. 前記機能改善支援装置は、さらに、
    前記対象ユーザの言語または口腔の質問項目および検査項目に対する回答と、前記対象ユーザの言語または口腔の評価項目に対する口腔専門職による評価とを前記所定の機能に関連する特徴量として取得する特徴量取得部を備え、
    前記学習済みモデルは、複数のユーザについて、各ユーザの前記所定の運動に関する評価を示す特徴量、各ユーザの前記所定の音の発話に関する評価を示す特徴量、各ユーザの前記言語または口腔の質問項目および検査項目に対する回答を示す特徴量、口腔専門職による各ユーザの評価項目に対する評価を示す特徴量、ならびに各ユーザが実行した管理指導項目および運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記管理指導項目の識別情報および前記運動プログラムの識別情報を出力するモデルであり、
    前記運動プログラム決定部は、前記学習済みモデルに基づいて、前記特徴量抽出部が抽出した前記特徴量および前記特徴量取得部が取得した前記特徴量から、前記所定の機能を改善するための管理指導項目および運動プログラムを決定する、請求項４に記載の機能改善支援システム。
  6. 前記機能改善支援装置は、さらに、
    前記学習済みモデルを機械学習する機械学習部を備え、
    前記機械学習部は、さらに、前記運動プログラム決定部が決定した前記運動プログラムを実行した前記対象ユーザの前記特徴量、および当該運動プログラムの識別情報を学習用データとして前記学習済みモデルを機械学習する、請求項１〜請求項５のいずれか１項に記載の機能改善支援システム。
  7. 端末装置から、前記端末装置に内蔵された各画素が輝度を示す２次元画像を撮影するカメラにより対象ユーザを撮影することにより得られる、前記対象ユーザの所定の機能に関連する２次元の画像データを取得する画像データ取得部と、
    前記画像データ取得部が取得した前記画像データから、前記所定の機能に関連する特徴量を抽出する特徴量抽出部と、
    学習済みモデルに基づいて、前記特徴量抽出部が抽出した前記特徴量から、前記所定の機能を改善するための運動プログラムを決定する運動プログラム決定部と、
    前記運動プログラムが決定した前記運動プログラムの内容を示す情報を前記端末装置に提供する情報提供部とを備え、
    前記学習済みモデルは、複数のユーザについての前記所定の機能に関連する特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルであり、
    前記所定の機能は、ユーザの動作に関連する機能であり、
    前記画像データは、所定の動作を行う前記対象ユーザを撮影することにより得られる動画像データを含み、
    前記特徴量抽出部は、前記所定の動作ができるか否かを判定するための１以上の動作の指標の各々について、前記動画像データから当該指標に関する評価を示す前記特徴量を抽出し、
    前記学習済みモデルは、複数のユーザについて、各ユーザの前記指標に関する評価を示す特徴量、および各ユーザが実行した運動プログラムを学習用データとして機械学習され、前記特徴量に対応する前記運動プログラムの識別情報を出力するモデルであり、
    前記所定の動作は、片脚立位保持、座位保持、両脚立位保持、及び歩行の少なくとも１つを含む、機能改善支援装置。
JP2019146110A 2019-08-08 2019-08-08 機能改善支援システムおよび機能改善支援装置 Active JP6775757B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019146110A JP6775757B1 (ja) 2019-08-08 2019-08-08 機能改善支援システムおよび機能改善支援装置
JP2020116283A JP6968458B2 (ja) 2019-08-08 2020-07-06 機能改善支援システム、および機能改善支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019146110A JP6775757B1 (ja) 2019-08-08 2019-08-08 機能改善支援システムおよび機能改善支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020116283A Division JP6968458B2 (ja) 2019-08-08 2020-07-06 機能改善支援システム、および機能改善支援装置

Publications (2)

Publication Number Publication Date
JP6775757B1 true JP6775757B1 (ja) 2020-10-28
JP2021026650A JP2021026650A (ja) 2021-02-22

Family

ID=72938153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019146110A Active JP6775757B1 (ja) 2019-08-08 2019-08-08 機能改善支援システムおよび機能改善支援装置

Country Status (1)

Country Link
JP (1) JP6775757B1 (ja)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
US11264123B2 (en) 2019-10-03 2022-03-01 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US11284797B2 (en) 2019-10-03 2022-03-29 Rom Technologies, Inc. Remote examination through augmented reality
US11295848B2 (en) 2019-10-03 2022-04-05 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11309085B2 (en) 2019-10-03 2022-04-19 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US11328807B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11337648B2 (en) 2020-05-18 2022-05-24 Rom Technologies, Inc. Method and system for using artificial intelligence to assign patients to cohorts and dynamically controlling a treatment apparatus based on the assignment during an adaptive telemedical session
US11348683B2 (en) 2019-10-03 2022-05-31 Rom Technologies, Inc. System and method for processing medical claims
US11404150B2 (en) 2019-10-03 2022-08-02 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11410768B2 (en) 2019-10-03 2022-08-09 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11445985B2 (en) 2019-10-03 2022-09-20 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US11471729B2 (en) 2019-03-11 2022-10-18 Rom Technologies, Inc. System, method and apparatus for a rehabilitation machine with a simulated flywheel
US11508482B2 (en) 2019-10-03 2022-11-22 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11596829B2 (en) 2019-03-11 2023-03-07 Rom Technologies, Inc. Control system for a rehabilitation and exercise electromechanical device
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US11923057B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11942205B2 (en) 2019-10-03 2024-03-26 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11950861B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11955218B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US11978559B2 (en) 2021-01-12 2024-05-07 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024027628A (ja) * 2022-08-18 2024-03-01 ライオン株式会社 提案システム及び提案方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167215A (ja) * 1999-12-10 2001-06-22 Rokko Shiken Co Ltd 口腔ケア管理方法
JP2008011865A (ja) * 2004-10-27 2008-01-24 Sharp Corp 健康管理装置及びこれを機能させるためのプログラム
JP5694206B2 (ja) * 2012-01-11 2015-04-01 日本電信電話株式会社 運動管理装置、運動管理方法及びプログラム
JP5935516B2 (ja) * 2012-06-01 2016-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2014104360A1 (ja) * 2012-12-28 2014-07-03 株式会社東芝 動作情報処理装置及び方法
WO2015108701A1 (en) * 2014-01-14 2015-07-23 Zsolutionz, LLC Fuzzy logic-based evaluation and feedback of exercise performance
JP2018094009A (ja) * 2016-12-12 2018-06-21 学校法人帝京大学 関節可動域測定装置及びプログラム
JP6276456B1 (ja) * 2017-07-10 2018-02-07 株式会社ＦｉＮＣ ユーザの姿勢を評価するための方法およびシステム
JP7115833B2 (ja) * 2017-10-04 2022-08-09 サンスター株式会社 健康寿命延長の支援システム
JP6429301B1 (ja) * 2018-01-11 2018-11-28 株式会社元気広場 動作獲得支援装置、動作獲得支援システム、及び、動作獲得支援装置の制御方法

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11904202B2 (en) 2019-03-11 2024-02-20 Rom Technolgies, Inc. Monitoring joint extension and flexion using a sensor device securable to an upper and lower limb
US11596829B2 (en) 2019-03-11 2023-03-07 Rom Technologies, Inc. Control system for a rehabilitation and exercise electromechanical device
US11541274B2 (en) 2019-03-11 2023-01-03 Rom Technologies, Inc. System, method and apparatus for electrically actuated pedal for an exercise or rehabilitation machine
US11471729B2 (en) 2019-03-11 2022-10-18 Rom Technologies, Inc. System, method and apparatus for a rehabilitation machine with a simulated flywheel
US11433276B2 (en) 2019-05-10 2022-09-06 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to independently adjust resistance of pedals based on leg strength
US11957960B2 (en) 2019-05-10 2024-04-16 Rehab2Fit Technologies Inc. Method and system for using artificial intelligence to adjust pedal resistance
US11904207B2 (en) 2019-05-10 2024-02-20 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to present a user interface representing a user's progress in various domains
US11801423B2 (en) 2019-05-10 2023-10-31 Rehab2Fit Technologies, Inc. Method and system for using artificial intelligence to interact with a user of an exercise device during an exercise session
US11328807B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. System and method for using artificial intelligence in telemedicine-enabled hardware to optimize rehabilitative routines capable of enabling remote rehabilitative compliance
US11830601B2 (en) 2019-10-03 2023-11-28 Rom Technologies, Inc. System and method for facilitating cardiac rehabilitation among eligible users
US11325005B2 (en) 2019-10-03 2022-05-10 Rom Technologies, Inc. Systems and methods for using machine learning to control an electromechanical device used for prehabilitation, rehabilitation, and/or exercise
US11139060B2 (en) 2019-10-03 2021-10-05 Rom Technologies, Inc. Method and system for creating an immersive enhanced reality-driven exercise experience for a user
US11961603B2 (en) 2019-10-03 2024-04-16 Rom Technologies, Inc. System and method for using AI ML and telemedicine to perform bariatric rehabilitation via an electromechanical machine
US11348683B2 (en) 2019-10-03 2022-05-31 Rom Technologies, Inc. System and method for processing medical claims
US11404150B2 (en) 2019-10-03 2022-08-02 Rom Technologies, Inc. System and method for processing medical claims using biometric signatures
US11410768B2 (en) 2019-10-03 2022-08-09 Rom Technologies, Inc. Method and system for implementing dynamic treatment environments based on patient information
US11309085B2 (en) 2019-10-03 2022-04-19 Rom Technologies, Inc. System and method to enable remote adjustment of a device during a telemedicine session
US11445985B2 (en) 2019-10-03 2022-09-20 Rom Technologies, Inc. Augmented reality placement of goniometer or other sensors
US11295848B2 (en) 2019-10-03 2022-04-05 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11508482B2 (en) 2019-10-03 2022-11-22 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection
US11515021B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11515028B2 (en) 2019-10-03 2022-11-29 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to create optimal treatment plans based on monetary value amount generated and/or patient outcome
US11284797B2 (en) 2019-10-03 2022-03-29 Rom Technologies, Inc. Remote examination through augmented reality
US11282599B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouragement of rehabilitative compliance through patient-based virtual shared sessions
US11264123B2 (en) 2019-10-03 2022-03-01 Rom Technologies, Inc. Method and system to analytically optimize telehealth practice-based billing processes and revenue while enabling regulatory compliance
US11756666B2 (en) 2019-10-03 2023-09-12 Rom Technologies, Inc. Systems and methods to enable communication detection between devices and performance of a preventative action
US11282604B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for use of telemedicine-enabled rehabilitative equipment for prediction of secondary disease
US11317975B2 (en) 2019-10-03 2022-05-03 Rom Technologies, Inc. Method and system for treating patients via telemedicine using sensor data from rehabilitation or exercise equipment
US11955223B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning to provide an enhanced user interface presenting data pertaining to cardiac health, bariatric health, pulmonary health, and/or cardio-oncologic health for the purpose of performing preventative actions
US11887717B2 (en) 2019-10-03 2024-01-30 Rom Technologies, Inc. System and method for using AI, machine learning and telemedicine to perform pulmonary rehabilitation via an electromechanical machine
US11282608B2 (en) 2019-10-03 2022-03-22 Rom Technologies, Inc. Method and system for using artificial intelligence and machine learning to provide recommendations to a healthcare provider in or near real-time during a telemedicine session
US11270795B2 (en) 2019-10-03 2022-03-08 Rom Technologies, Inc. Method and system for enabling physician-smart virtual conference rooms for use in a telehealth context
US11915816B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. Systems and methods of using artificial intelligence and machine learning in a telemedical environment to predict user disease states
US11915815B2 (en) 2019-10-03 2024-02-27 Rom Technologies, Inc. System and method for using artificial intelligence and machine learning and generic risk factors to improve cardiovascular health such that the need for additional cardiac interventions is mitigated
US11923057B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Method and system using artificial intelligence to monitor user characteristics during a telemedicine session
US11923065B2 (en) 2019-10-03 2024-03-05 Rom Technologies, Inc. Systems and methods for using artificial intelligence and machine learning to detect abnormal heart rhythms of a user performing a treatment plan with an electromechanical machine
US11942205B2 (en) 2019-10-03 2024-03-26 Rom Technologies, Inc. Method and system for using virtual avatars associated with medical professionals during exercise sessions
US11955221B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML to generate treatment plans to stimulate preferred angiogenesis
US11955220B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for using AI/ML and telemedicine for invasive surgical treatment to determine a cardiac treatment plan that uses an electromechanical machine
US11950861B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. Telemedicine for orthopedic treatment
US11955218B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for use of telemedicine-enabled rehabilitative hardware and for encouraging rehabilitative compliance through patient-based virtual shared sessions with patient-enabled mutual encouragement across simulated social networks
US11955222B2 (en) 2019-10-03 2024-04-09 Rom Technologies, Inc. System and method for determining, based on advanced metrics of actual performance of an electromechanical machine, medical procedure eligibility in order to ascertain survivability rates and measures of quality-of-life criteria
US11701548B2 (en) 2019-10-07 2023-07-18 Rom Technologies, Inc. Computer-implemented questionnaire for orthopedic treatment
US11826613B2 (en) 2019-10-21 2023-11-28 Rom Technologies, Inc. Persuasive motivation for orthopedic treatment
US11337648B2 (en) 2020-05-18 2022-05-24 Rom Technologies, Inc. Method and system for using artificial intelligence to assign patients to cohorts and dynamically controlling a treatment apparatus based on the assignment during an adaptive telemedical session
US11978559B2 (en) 2021-01-12 2024-05-07 Rom Technologies, Inc. Systems and methods for remotely-enabled identification of a user infection

Also Published As

Publication number Publication date
JP2021026650A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
JP6775757B1 (ja) 機能改善支援システムおよび機能改善支援装置
JP6968458B2 (ja) 機能改善支援システム、および機能改善支援装置
JP4565220B2 (ja) 医療用実習装置
JP6268193B2 (ja) 脈波測定装置、携帯機器、医療機器システム、及び生体情報コミュニケーションシステム
JP4231876B2 (ja) トレーニングシステム、操作端末、及びトレーニング支援プログラムを記録したコンピュータ読み取り可能な記録媒体
US20180078184A1 (en) Dual-task performing ability evaluation method and dual-task performing ability evaluation system
JP2006320424A (ja) 動作教示装置とその方法
WO2007044877A2 (en) Automated patient monitoring and counseling system
CN102065759A (zh) 用于压力和放松管理的系统及成套仪器
JP7373788B2 (ja) リハビリ支援装置、リハビリ支援システム及びリハビリ支援方法
Baran et al. Design of a home-based adaptive mixed reality rehabilitation system for stroke survivors
WO2003045252A1 (fr) Appareil d'evaluation de capacite de jugement, robot, procede d'evaluation de capacite de jugement, programme et support
CN106456057A (zh) 用于评判哺乳动物动力学的动作捕获和分析系统
JP2004157941A (ja) ホームケア・システムおよびそのサーバ，ならびにホームケア・システムに用いられるおもちゃ装置
KR102388337B1 (ko) 턱관절 질환 개선 서비스용 어플리케이션의 서비스 제공방법
KR20180097343A (ko) 심폐 소생술 훈련 시스템
JP2019024579A (ja) リハビリテーション支援システム、リハビリテーション支援方法及びプログラム
KR20180097334A (ko) 심폐 소생술 훈련 시뮬레이션 방법
US20230404451A1 (en) Sightline-position determination device, sightline-position determination method, and training method
Fitzgerald et al. Usability evaluation of e-motion: a virtual rehabilitation system designed to demonstrate, instruct and monitor a therapeutic exercise programme
Romero et al. Designing and prototyping intelligent products for users with disabilities, a teaching experience
Williams et al. Development and initial validation of the Effort Sense Rating Scale (ESRS): a self-perceived index of physical fitness
JP2020081088A (ja) 情報処理装置、情報処理システム、および、プログラム
JP7303595B1 (ja) プログラム、情報処理装置、および情報処理方法
KR101945338B1 (ko) 체력 측정 진단에 대한 체력 개선 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190808

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190808

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200212

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200706

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200706

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200706

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200714

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200918

R150 Certificate of patent or registration of utility model

Ref document number: 6775757

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R154 Certificate of patent or utility model (reissue)

Free format text: JAPANESE INTERMEDIATE CODE: R154

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250