JP7381139B1

JP7381139B1 - プログラム、コンピュータ装置及び方法

Info

Publication number: JP7381139B1
Application number: JP2022200254A
Authority: JP
Inventors: あゆ美畑
Original assignee: OKUCHY, INC.
Current assignee: OKUCHY, INC.
Priority date: 2022-12-15
Filing date: 2022-12-15
Publication date: 2023-11-15
Anticipated expiration: 2042-12-15

Abstract

【課題】本発明は、ユーザの状態を評価するために必要な画像情報を取得するためのプログラムを提供することを目的とする。【解決手段】長方形の表示画面を有する表示装置と、表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、撮像装置により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面にて撮像されたユーザを視認できるように、撮像装置が配置されたコンピュータ装置において実行されるプログラムであって、コンピュータ装置を、撮像装置により空間を撮像する撮像手段と、ユーザに求める動作に関する情報を出力する情報出力手段と、撮像装置が、表示画面に対して前記一端のある側の反対側にくるようにユーザに求める指示情報、及び／又は、撮像装置が、ユーザの所定の部位から所定の範囲となるようにユーザに求める指示情報を出力する指示手段、として機能させる、プログラム。【選択図】図５

Description

本発明は、プログラム、コンピュータ装置及び方法に関する。

口腔は、摂食に関する嚥下機能、発声に関する発音機能、及び、呼吸に関する呼吸機能といった人間にとって重要な身体機能に関わっている器官である。嚥下機能、発音機能、及び、呼吸機能のそれぞれは、歯科口腔外科、耳鼻咽喉科、リハビリテーション科、呼吸器内科等の複数の診療科により専門分野が分かれている。そのため、専門分野の違いにより横断的に評価されず、自分の嚥下機能、発音機能、及び呼吸機能の現状を把握する機会を得ることが難しく、適切な診断や治療を受ける機会を得られないことがあった。また、嚥下機能、発音機能、及び呼吸機能は、どれか一つが急激に悪化するのではなく、加齢により、緩やかに機能が低下することが多い。そのため、悪化している自覚症状に乏しく、適切な検査を受けることができず、口腔機能の低下を予防することが難しかった。

このような中、口腔機能を簡易かつ簡便に評価するための評価プログラムが開示されている（例えば、特許文献１）。評価プログラムにおいて、口腔衛生、口腔乾燥、歯数、咬合力、パの発音、タの発音、カの発音、舌圧、咀嚼機能、嚥下機能等の口腔機能評価の情報が入力され、口腔機能評価結果が所定の図形に図形化される。しかしながら、口腔機能評価の取得には、測定のための特別な装置が必要であり、ユーザ自身が測定を実施し、口腔機能を把握する態様は、想定されていなかった。また、ユーザが、口腔機能の低下を予防するための態様は想定されていなかった。

特開２０２１－１７４０７６号公報

本発明は、例えば、以下のいずれかの課題を解決することができる。本発明の第１の目的は、ユーザの状態を評価するために必要な画像情報を取得するためのプログラムを提供することである。また、本発明の第２の目的は、ユーザに求める動作に関する情報と該動作を実施するユーザを同時に表示するプログラムを提供することである。

本発明の課題は、
［１］長方形の表示画面を有する表示装置と、表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、撮像装置により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面にて撮像されたユーザを視認できるように、撮像装置が配置されたコンピュータ装置において実行されるプログラムであって、コンピュータ装置を、撮像装置により空間を撮像する撮像手段と、ユーザに求める動作に関する情報を出力する情報出力手段と、撮像装置が、表示画面に対して前記一端のある側の反対側にくるようにユーザに求める指示情報、及び／又は、撮像装置が、ユーザの所定の部位から所定の範囲となるようにユーザに求める指示情報を出力する指示手段、として機能させる、プログラム；
［２］コンピュータ装置がセンサを備え、コンピュータ装置を、センサにより、撮像装置が表示画面に対して前記一端のある側の反対側にくるように、コンピュータ装置の上下を反転させたことを検知する反転検知手段、として機能させる、前記［１］に記載のプログラム；
［３］コンピュータ装置を、反転を検知した場合に、表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することが可能な表示手段、として機能させる、前記［２］に記載のプログラム；
［４］長方形の表示画面を有する表示装置と、表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、撮像装置により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面にて撮像されたユーザを視認できるように、撮像装置が配置されたコンピュータ装置であって、撮像装置により空間を撮像する撮像手段と、ユーザに求める動作に関する情報を出力する情報出力手段と、撮像装置が、表示画面に対して前記一端のある側の反対側にくるようにユーザに求める指示情報、及び／又は、撮像装置が、ユーザの所定の部位から所定の範囲となるようにユーザに求める指示情報を出力する指示手段、を備える、コンピュータ装置；
［５］長方形の表示画面を有する表示装置と、表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、撮像装置により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面にて撮像されたユーザを視認できるように、撮像装置が配置されたコンピュータ装置において実行される方法であって、撮像装置により空間を撮像する撮像ステップと、ユーザに求める動作に関する情報を出力する情報出力ステップと、撮像装置が、表示画面に対して前記一端のある側の反対側にくるようにユーザに求める指示情報、及び／又は、撮像装置が、ユーザの所定の部位から所定の範囲となるようにユーザに求める指示情報を出力する指示ステップ、を有する、方法；
［６］長方形の表示画面を有する表示装置と、表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、撮像装置により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面にて撮像されたユーザを視認できるように、撮像装置が配置されたコンピュータ装置において実行されるプログラムであって、コンピュータ装置を、撮像装置により空間を撮像する撮像手段と、ユーザに求める動作に関する情報を出力する情報出力手段と、ユーザに求める動作に応じて、表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することが可能な表示手段、として機能させる、プログラム；
［７］長方形の表示画面を有する表示装置と、表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、撮像装置により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面にて撮像されたユーザを視認できるように、撮像装置が配置されたコンピュータ装置であって、撮像装置により空間を撮像する撮像手段と、ユーザに求める動作に関する情報を出力する情報出力手段と、ユーザに求める動作に応じて、表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することが可能な表示手段、を備える、コンピュータ装置；
［８］長方形の表示画面を有する表示装置と、表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、撮像装置により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面にて撮像されたユーザを視認できるように、撮像装置が配置されたコンピュータ装置において実行される方法であって、撮像装置により空間を撮像する撮像ステップと、ユーザに求める動作に関する情報を出力する情報出力ステップと、ユーザに求める動作に応じて、表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することが可能な表示ステップ、を有する、方法；
［９］撮像装置を備えるコンピュータ装置において実行されるプログラムであって、コンピュータ装置を、撮像装置により空間を撮像する撮像手段と、ユーザに求めるユーザの喉の動作に関する情報を出力する情報出力手段と、撮像装置の位置がユーザの顔より下方であり、且つ、仰角からユーザの喉を撮影することをユーザに求める指示情報を出力する指示手段、として機能させる、プログラム；
［１０］前記撮像により得られる画像、及び、人の顔又は上半身の少なくとも一部に対応するガイドを表示する、前記［９］に記載のプログラム；
［１１］撮像装置を備えるコンピュータ装置であって、撮像装置により空間を撮像する撮像手段と、ユーザに求めるユーザの喉の動作に関する情報を出力する情報出力手段と、撮像装置の位置がユーザの顔より下方であり、且つ、仰角からユーザの喉を撮影することをユーザに求める指示情報を出力する指示手段、を備える、コンピュータ装置；
［１２］撮像装置を備えるコンピュータ装置において実行される方法であって、撮像装置により空間を撮像する撮像ステップと、ユーザに求めるユーザの喉の動作に関する情報を出力する情報出力ステップと、撮像装置の位置がユーザの顔より下方であり、且つ、仰角からユーザの喉を撮影することをユーザに求める指示情報を出力する指示ステップ、を有する、方法；
［１３］表示装置と撮像装置とを備えるコンピュータ装置において実行されるプログラムであって、コンピュータ装置を、撮像装置により空間を撮像する撮像手段と、前記撮像により得られる画像、及び、ユーザに求める動作に関する情報を表示装置の表示画面に表示する表示手段、として機能させる、プログラム；
［１４］表示手段が、ユーザに求める動作に関する情報として、該動作に関するテキスト情報、及び、該動作に関する画像情報を表示する、前記［１３］に記載のプログラム；
［１５］表示手段が、ユーザに求める動作に関する情報として、人の顔についての動作に関する情報を表示するものであり、さらに、前記撮像により得られる画像を表示する領域において、人の顔又は上半身の少なくとも一部に対応するガイドを表示する、前記［１３］又は［１４］に記載のプログラム；
［１６］撮像装置により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面にて撮像されたユーザを視認できるように、撮像装置が配置されたコンピュータ装置において実行されるための、前記［１３］～［１５］のいずれかに記載のプログラム；
［１７］表示装置と撮像装置とを備えるコンピュータ装置であって、撮像装置により空間を撮像する撮像手段と、前記撮像により得られる画像、及び、ユーザに求める動作に関する情報を表示装置の表示画面に表示する表示手段、を備える、コンピュータ装置；
［１８］表示装置と撮像装置とを備えるコンピュータ装置において実行される方法であって、撮像装置により空間を撮像する撮像ステップと、前記撮像により得られる画像、及び、ユーザに求める動作に関する情報を表示装置の表示画面に表示する表示ステップ、を有する、方法；
［１９］表示装置と、撮像装置とを備えるコンピュータ装置において実行されるプログラムであって、コンピュータ装置を、表示装置の表示画面の明るさを調整する、表示装置の表示画面の明るさを調整することをユーザに求める指示情報を出力する、又は、表示装置の表示画面の明るさを調整するための調整情報を出力する調整手段と、表示画面の明るさの調整が完了した後に、撮像装置により空間を撮像する撮像手段と、ユーザに求める動作に関する情報を出力する情報出力手段として機能させる、プログラム；
［２０］表示装置と、撮像装置とを備えるコンピュータ装置であって、表示装置の表示画面の明るさを調整する、表示装置の表示画面の明るさを調整することをユーザに求める指示情報を出力する、又は、表示装置の表示画面の明るさを調整するための調整情報を出力する調整手段と、表示画面の明るさの調整が完了した後に、撮像装置により空間を撮像する撮像手段と、ユーザに求める動作に関する情報を出力する情報出力手段とを備える、コンピュータ装置；
［２１］表示装置と、撮像装置とを備えるコンピュータ装置において実行される方法であって、表示装置の表示画面の明るさを調整する、表示装置の表示画面の明るさを調整することをユーザに求める指示情報を出力する、又は、表示装置の表示画面の明るさを調整するための調整情報を出力する調整ステップと、表示画面の明るさの調整が完了した後に、撮像装置により空間を撮像する撮像ステップと、ユーザに求める動作に関する情報を出力する情報出力ステップとを有する、方法；
［２２］コンピュータ装置を、前記撮像により得られる画像を記憶する画像記憶手段、及び／又は、前記撮像により得られる画像を他のコンピュータ装置へ送信する画像送信手段として機能させる、前記［１］～［３］、［６］、［９］、［１０］、［１３］～［１６］又は［１９］に記載のプログラム；
により解決することができる。

本発明によれば、ユーザの状態を評価するために必要な画像情報を取得するためのプログラムを提供できる。また、本発明によれば、ユーザに求める動作に関する情報と該動作を実施するユーザを同時に表示するプログラムを提供することができる。

本発明の実施の形態に係るシステムの構成を示すブロック図である。本発明の実施の形態に係るユーザ端末の外観の一例を示す図である。本発明の実施の形態に係るユーザ端末のハードウェア構成を示すブロック図である。本発明の実施の形態に係るサーバ装置のハードウェア構成を示すブロック図である。本発明の実施の形態に係る評価処理のフローチャートを示す図である。本発明の実施の形態に係る表示画面の一例を示す図である。本発明の実施の形態に係る表示画面の一例を示す図である。本発明の実施の形態に係る表示画面の概略図である。本発明の実施の形態に係る表示画面の一例を示す図である。本発明の実施の形態に係る表示画面の一例を示す図である。本発明の実施の形態に係る撮像方法の概略図である。本発明の実施の形態に係る撮像方法の概略図である。本発明の実施の形態に係る運動処理のフローチャートを示す図である。

以下、本発明の実施の形態について説明をするが、本発明の趣旨に反しない限り、本発明は、以下の実施の形態に限定されない。以下で説明するフローチャートを構成する各処理の順序は、処理内容に矛盾や不整合が生じない範囲で順不同であり、また、処理内容に矛盾や不整合が生じない範囲で、フローチャートを構成する各処理の一部を省略することや、フローチャートを構成する各処理に新たな処理を追加することも可能である。

図１は、本発明の実施の形態にかかるシステムの構成を示すブロック図である。システムは、ユーザ端末１と、サーバ装置２とを備える。ユーザ端末１及びサーバ装置２は、通信ネットワーク３を介して、互いに通信可能に接続されている。システムでは、ユーザ端末１及びサーバ装置２のいずれかが情報処理装置として機能し得る。ユーザ端末１及びサーバ装置２のいずれかが情報処理装置として機能する際に、必要に応じて、ユーザ端末１とサーバ装置２との間で、情報の送受信を実行する。なお、システムは、２以上のユーザ端末１を備えていてもよい。

例えば、ユーザ端末１は、動作を行うユーザにより操作される。ユーザ端末１は、撮像装置を備えるコンピュータ装置であれば、特に限定されない。さらに、ユーザ端末１は、表示装置と撮像装置とを備えるコンピュータ装置であることが好ましい。ユーザ端末１としては、例えば、従来型の携帯電話、タブレット型端末、スマートフォン等などが挙げられる。

図２は、本発明の実施の形態に係るユーザ端末の外観の一例を示す図である。ユーザ端末１は、表示画面４が備わる面に、カメラ５を備えている。また、スピーカ及びマイク６を備えていてもよい。ユーザ端末１に備わる表示装置は、長方形の表示画面４を有するともいえる。長方形の表示画面４としては、長方形の角が丸まった形、楕円形、長方形の一部が欠けている形等といった、略長方形の表示画面を含んでいてもよい。

カメラ５は、撮像装置として機能する。ユーザ端末１の長手方向を上下方向としたときに、ユーザが、ユーザ端末１を操作する際の通常の向きにおけるユーザ端末１の上辺の近傍に、カメラ５が配置されている。長手方向の上側の一端の近傍にあるともいえる。つまり、撮像装置は、表示画面の長手方向のいずれか一端の近傍に配置される。また、カメラ５の左右方向の配置位置は特に限定されない。例えば、ユーザ端末１の中央付近に配置されてもよいし、右側又は左側の位置に配置されてもよい。

また、カメラ５は、カメラ５により撮像できる空間にユーザが存在する場合に、ユーザが表示装置による表示画面４にて撮像されたユーザを視認できるように、配置される。例えば、カメラ５と表示画面４が、ユーザ端末１の同じ面に備えられていてもよい。これにより、ユーザが、ユーザ端末１を持ちしながら、表示画面４を自分に向けると、自分を撮影しつつ、表示画面４に自分が表示される。

カメラ５の視軸は、表示画面４に対して垂直となるように設けられていることが好ましい。カメラ５により、表示画面４に対して垂直方向の空間を撮像できる。カメラ５は、いわゆるユーザ端末１のインカメラやフロントカメラともいえる。なお、ユーザ端末１は、カメラ５だけでなく、ユーザ端末１の表示画面４が備わる面の裏面に他のカメラを備えられていてもよい。

図３は、本発明の実施の形態にかかるユーザ端末のハードウェア構成を示すブロック図である。ユーザ端末１は、制御部１１、ＲＡＭ１２、ストレージ部１３、入力部１４、表示部１５及び通信インタフェース１６を備え、それぞれ内部バスにより接続されている。

制御部１１は、ＣＰＵやＲＯＭから構成される。制御部１１は、ストレージ部１３に格納されたプログラムを実行し、ユーザ端末１の制御を行う。ＲＡＭ１２は、制御部１１のワークエリアである。ストレージ部１３は、プログラムやデータを保存するための記憶領域である。つまり、ストレージ部１３は、プログラムを記憶した記録媒体として機能する。制御部１１は、ＲＡＭ１２から読み出したプログラム及びデータ、並びに、入力部１４、撮像部１７、又は録音部１８にて入力されたデータをもとに、演算処理を行う。

表示部１５は表示画面４を有している。制御部１１は、演算処理の結果に応じて、表示画面４に画像を表示するためのビデオ信号を出力する。ここで、表示部１５の表示画面４はタッチセンサを備えるタッチパネルであってもよい。この場合、タッチパネルが入力部１４として機能する。また、ユーザ端末１は、カメラ等の撮像部１７と、マイク、レコーダ等の録音部１８と、スピーカ等の出音部１９とを備えていてもよい。

また、ユーザ端末１は、センサ部を有していてもよい。センサ部は、深度センサ、加速度センサ、ジャイロセンサ、ＧＰＳセンサ、指紋認証センサ、近接センサ、磁力センサ、輝度センサ、ＧＰＳセンサ、及び気圧センサからなる群より選択される少なくとも１以上のセンサを備えていてもよい。

通信インタフェース１６は無線又は有線により通信ネットワーク３に接続が可能であり、通信ネットワーク３を介して、他のコンピュータ装置とデータを送受信することが可能である。通信インタフェース１６を介して受信したデータは、ＲＡＭ１２にロードされ、制御部１１により演算処理が行われる。

図３は、本発明の実施の形態にかかるサーバ装置のハードウェア構成を示すブロック図である。サーバ装置２は、制御部２１、ＲＡＭ２２、ストレージ部２３及び通信インタフェース２４を少なくとも備え、それぞれ内部バスにより接続されている。

制御部２１は、ＣＰＵやＲＯＭから構成され、ストレージ部２３に格納されたプログラムを実行し、サーバ装置２の制御を行う。また、制御部２１は時間を計時する内部タイマを備えている。ＲＡＭ２２は、制御部２１のワークエリアである。ストレージ部２３は、プログラムやデータを保存するための記憶領域である。つまり、ストレージ部２３は、プログラムを記憶した記録媒体として機能する。制御部２１は、プログラム及びデータをＲＡＭ２２から読み出し、ユーザ端末１のそれぞれから受信した情報等をもとに、プログラム実行処理を行う。

また、サーバ装置２は、複数のコンピュータ装置に分散して機能するものであってもよい。例えば、サーバ装置２に代えて、ブロックチェーンなどの分散型台帳技術を利用してもよい。

また、プログラムは、ＣＤ－ＲＯＭなどの記録媒体に記憶されていてもよい。この場合、記録媒体に記憶されたプログラムが、ユーザ端末１又はサーバ装置２にインストールされて、所定の機能を実行することとしてもよい。

あるいは、プログラムは、システム外部のコンピュータ装置から配信されてもよい。この場合、システム外部のコンピュータ装置から配信されたプログラムが、ユーザ端末１又はサーバ装置２にインストールされて、所定の機能を実行することとしてもよい。

［システムの概要］
本発明の実施の形態のシステムは、ユーザの動作の様子を取得し、ユーザの状態を評価する評価処理と、ユーザに対して動作を実行させる運動処理とを備えることができる。評価するユーザの状態とは、ユーザの健康状態やユーザの身体機能の状態であってもよい。ユーザの身体機能としては、例えば、ユーザの口腔機能、嚥下機能、発音機能、呼吸機能等があげられる。また、評価処理では、嚥下障害等の所定の病気にかかっているか、又はかかっている可能性について、評価してもよい。また、ユーザの口腔機能について、総合的に評価するものであってもよい。

また、運動処理により、ユーザの健康状態やユーザの身体機能を維持又は向上させるものであってもよい。本発明のシステムは、健康状態の維持又は向上、顔の輪郭がはっきりする等といった美容目的、発声能力の向上、食べ物を飲み込む力の向上等を目的とするユーザに提供できる。

［評価処理］
図４は、本発明の実施の形態に係る評価処理のフローチャートを示す図である。ユーザは、ユーザ端末１にダウンロードされたアプリケーションプログラム（以下、専用アプリという）を起動し、サーバ装置２にアクセスすることで、システムにログインする。システムへのログインは、ユーザ端末１からＷｅｂブラウザを経由してサーバ装置２にアクセスすることで行ってもよい。

なお、ユーザが初めてシステムにログインする際には、ユーザは、ユーザ端末１を操作し、ユーザに関する情報等を入力することで、初期設定を行う。ユーザは、初期設定として、ユーザ名、パスワード、性別、生年月日、既往歴、職種、所属企業等の、ユーザに関するユーザ情報を入力する。また、ユーザ端末１のカメラ５が配置されている位置が、ユーザ端末１の上辺付近であるか、下辺付近であるかを入力してもよい。

次に、入力したユーザ情報をサーバ装置２に送信することで、サーバ装置２にて、ユーザの登録がされる。登録されたユーザは、ユーザを識別するためのユーザ識別情報（以下、ユーザＩＤともいう）を付与されることが好ましい。ユーザＩＤはユーザ情報と関連付けて記憶されてもよい。また、システムにおいて、登録されたユーザ専用のページが作成される。

システムにログインする際には、予め登録されているユーザＩＤとパスワードの入力が要求されてもよい。あるいは、システムにログインする際には、予め登録したメールアドレスとパスワードの入力が要求されてもよい。

次に、ユーザは、ユーザ端末１において、評価処理の開始の入力をする（ステップＳ１）。入力された評価処理の開始に関する情報は、ユーザ端末１からサーバ装置２へ送信され、サーバ装置２に受信される。それにより、サーバ装置２にて、評価処理の開始を受け付ける（ステップＳ２）。

次に、サーバ装置２からユーザ端末１に、ユーザ端末１の表示画面４の明るさを調整するための明るさ調整情報が送信される（ステップＳ３）。ユーザ端末１にて明るさ調整情報が受信される（ステップＳ４）。ユーザ端末１にて明るさ調整情報が受信されると、受信した明るさ調整情報にしたがって、表示画面４の明るさの調整処理が実行される（ステップＳ５）。

調整処理では、例えば、表示装置の表示画面４の明るさを調整する、表示装置の表示画面４の明るさを調整することをユーザに求める明るさに関する指示情報を出力する、又は、表示装置の表示画面４の明るさを調整するための調整情報を出力することとしてもよい。表示装置の表示画面４の明るさは、最大の明るさに設定されることが好ましい。

後述のステップＳ１６において、取得した動画情報から、睡眠時無呼吸症候群を発見するための指標となるマランパチ分類のいずれの分類に属するかを評価するためには、ユーザの軟口蓋の画像を取得する必要がある。ユーザとカメラ５の距離が、所定の距離にあり、表示画面４の明るさを所定の明るさとすることで、ユーザの口腔内や喉の奥を判別可能に表示した画像を取得でき、ユーザの動作の評価に必要な画像を適切に取得できる。

調整処理において、表示装置の表示画面４の明るさを調整する場合には、ユーザ端末１にて表示画面４が自動的に所定の明るさに調整されてもよい。所定の明るさは、予めサーバ装置２に登録されている。所定の明るさは、最大の明るさであることが好ましい。

或いは、調整処理において、表示装置の表示画面４の明るさを調整することをユーザに求める明るさに関する指示情報を出力する場合には、明るさに関する指示情報として、テキスト情報、画像情報、及び／又は、音声情報を出力してもよい。ユーザは、明るさに関する指示情報にしたがって、明るさを調整することができる。

或いは、調整処理において、表示装置の表示画面４の明るさを調整するための調整情報を出力する場合には、調整情報として、明るさの調整画面や明るさの調整バーを表示してもよい。ユーザは、調整情報にしたがって、明るさを調整することができる。

なお、本実施の形態において、ステップＳ３～Ｓ５の処理は、評価処理の一連の動作について１回実行することとしたが、ユーザに求める動作ごとに実行することとしてもよい。つまり、ユーザに求める動作に応じて、表示画面４の明るさの調整処理を実行してもよい。例えば、後述のステップＳ７の処理後に、ステップＳ３～Ｓ５の処理が実行されるとしてもよい。

明るさ調整情報が送信されると、サーバ装置２からユーザ端末１に、指示情報が送信される（ステップＳ６）。ユーザ端末１にて、指示情報が受信される（ステップＳ７）。

ここで、指示情報とは、ユーザに求める動作に関する情報であり、ユーザに対して該動作を実施させるための指示に関する情報が含まれる。

ユーザに求める動作とは、例えば、ユーザの状態を評価するのに必要な画像又は音声を取得するために、ユーザに実施させる動作のことをいう。ユーザに求める動作は、具体的には、口を大きく開ける動作、舌を出す動作、つばを飲み込んで喉を動かす動作、口を開けて所定の声を出す動作、所定の早口言葉を言う動作、ユーザ端末１を反転させてカメラ５の位置を移動させる動作、ユーザ端末１を傾けて撮影する動作、ユーザとカメラ５の距離を所定の距離で撮影を行う動作等であってもよい。取得する画像又は音声は、例えば、ユーザの身体の一部を動かした画像、所定の言葉を発した音声、所定の動きを実施しながら発した音声及びその動作中の画像等があげられる。なお、画像は、動画、及び静止画の両方を含む。

ユーザに求める動作に関する情報としては、該動作に関するテキスト情報、該動作に関する画像情報、及び／又は、該動作に関する音声情報があげられる。テキスト情報、画像情報、又は、音声情報のいずれかであってもよいし、２以上を組み合わせたものであってもよい。

後述のステップＳ１６において、サーバ装置２にてユーザの状態を評価するために、画像の明るさや、撮像されるユーザの部位について、向き又は角度、画面内の位置、画面内に占める大きさ等が、均一な画像情報を取得する必要がある。或いは、内容や音量が、均一な音声情報を取得する必要がある。指示情報は、ユーザ端末１にて均一な画像情報及び／又は音声情報を取得するために用いられる。

指示情報は、ユーザに求める動作ごとに、相互に関連付けてサーバ装置２に記憶されている。また、指示情報には、後述の評価メニューにおける動作の順番に関する情報や、１つ前の動作の情報が含まれていてもよい。１つ前の動作の情報としては、該動作に関する動作情報を、ユーザ端末１を反転させて取得するか否かに関する情報が含まれる。本実施の形態において、指示情報には、第１指示情報と、第２指示情報とが含まれる。それぞれの情報については、後述する。

ユーザ端末１にて、指示情報が受信され（ステップＳ７）、ステップＳ５における表示画面４の明るさの調整が完了すると、ユーザ端末１にて、第１指示情報が出力される（ステップＳ８）。第１指示情報とは、ユーザの状態を評価するのに必要な画像又は音声を取得する前に、該画像又は音声を取得するために必要な準備をユーザに実施させるための指示情報である。なお、出力とは、テキスト情報、及び／又は、画像情報を表示画面４に表示するだけでなく、音声情報をユーザ端末１のスピーカから出力することも含まれる。

ステップＳ７にて受信した指示情報の関連付けられた動作が、ユーザ端末１を反転させて動作情報を取得する動作である場合、第１指示情報が出力されると、第１指示情報が出力されてから所定の時間内にユーザ端末１が反転されたか否かを検知する（ステップＳ９）。つまり、センサにより、撮像装置が表示画面に対して表示画面の長手方向のいずれか一端のある側の反対側にくるように、コンピュータ装置の上下を反転させたことを検知する。ユーザ端末１が反転されたか否かは、センサ部のジャイロセンサ等によって検出できる。所定の時間としては、例えば、１０秒以内としてもよい。

所定の時間内にユーザ端末１が反転されなかった場合（ステップＳ９でＮＯ）、ユーザ端末１を反転させることをユーザに促す警告情報が出力される（ステップＳ１０）。警告情報には、ユーザにユーザ端末１の反転を促すものだけでなく、単にユーザにユーザ端末１が反転されていないこと知らせるものも含まれる。そして、再度、所定の時間内にユーザ端末１が反転されたか否かを検知する。

一方、所定の時間内にユーザ端末１が反転された場合（ステップＳ９でＹＥＳ）、第１指示情報の表示を反転させる（ステップＳ１１）。つまり、ユーザ端末１の反転を検知した場合に、表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することができる。ステップＳ１１で出力される第１指示情報は、ステップＳ８で出力される第１指示情報と同じ内容の情報で、表示画面４に表示するレイアウトのみ異なるものであってもよい。ステップＳ１１にて第１指示情報が出力された表示画面は、図９に対応する。表示を反転させる処理（上下方向のレイアウトを切り替える処理ともいう）については、後述する。

なお、所定の時間内にユーザ端末１が反転されたことを検出した場合、反転の検出と同時にステップＳ１１の処理を実行してもよい。つまり、ユーザ端末１の向きと合わせて、第１指示情報を反転させてもよい。これにより、ユーザがスムーズにユーザ端末１の上下を反転させることができる。

ステップＳ１１にて第１指示情報が表示されると、ユーザ端末１において、ユーザの動作情報の取得が開始される（ステップＳ１２）。取得するユーザの動作情報は、静止画、動画、又は、音声のいずれかであってもよいし、２以上が組み合わさったものであってもよい。ステップＳ１２及び後述のステップＳ１３は、撮像装置により空間を撮像する処理、若しくは、録音装置により音声を録音する処理、又は、表示画面の明るさの調整が完了した後に、撮像装置により空間を撮像する処理、若しくは録音装置により音声を録音する処理であるといえる。

なお、ステップＳ１２により取得が開始される動作情報は、サーバ装置２に送信される動作情報である。撮像装置による空間の撮像と表示画面４への出力は、ステップＳ７又はＳ８と同時に実行され、ステップＳ１２により、動作情報の録画が開始されることとしてもよい。ユーザ端末１において、表示画面に表示された録画開始ボタン等が押下されることで、動作情報の録画、すなわち、動作情報の取得が開始されてもよい。

ユーザの動作情報の取得が開始されると、第２指示情報が出力される。また、同時にユーザの動作情報が取得及び出力される（ステップＳ１３）。第２指示情報とは、ユーザの状態を評価するのに必要な画像又は音声を取得中に、該画像又は音声を取得するために必要な動作をユーザに実施させるための指示情報である。ステップＳ１３では、ユーザに求める動作に関する情報として第２指示情報を出力する。なお、動作によっては、第１指示情報と第２指示情報とが同じ情報であってもよい。

なお、出力は、上記と同様の意味を有する。ユーザの動作情報の出力では、動作情報の取得と同時に表示画面４に取得した画像が表示されることが好ましい。また、ユーザの音声を取得する場合、ユーザの音声については出力されないこととしてもよい。

ステップＳ１３では、撮像により得られる画像、及び、ユーザに求める動作に関する情報である第２指示情報を表示装置の表示画面４に表示することができる。これにより、ユーザが求められる動作と自身の動きを同時に確認することができるので、ユーザは意図された動作を適切に実施することができる。そして、ユーザ端末１では、評価に必要な動作情報を取得できる。

また、第２指示情報として、ユーザに求める動作に関するテキスト情報、及び、該動作に関する画像情報を表示することとしてもよい。画像情報は、上述のとおり、静止画や動画が含まれる。また、画像として、実施の動作をする人の写真画像を用いてもよいし、イラストを用いてもよい。

第２指示情報として、人の顔についての動作に関する情報を表示する場合、さらに、ステップＳ１３の撮像により得られる画像を表示する領域において、人の顔又は上半身の少なくとも一部に対応するガイドを表示することとしてもよい。ガイドとは、例えば、ユーザの動作を撮像する際に、ユーザに対する撮像装置の位置や角度が適切なものであるかを、ユーザが確認するために表示画面４上に表示される点、線又はこれらを組み合わせた図形である。

ガイドの種類としては、例えば、実線、点線、マーカ、イラスト等があげられる。人の顔又は上半身の少なくとも一部としては、例えば、人の顔の輪郭、顎や鼻等の所定の部分等があげられる。表示画面４に人の顔又は上半身の少なくとも一部に対応するガイドを表示させることで、ユーザは、表示画面４上のどの位置に何が表示されるべきかを理解できる。また、ユーザが所定の位置に人の顔又は上半身の少なくとも一部が表示されることを確認しながら、ユーザ端末１において動作情報を取得することができる。

ガイドは、撮像された画像の上に重畳して表示される。ガイドは、透けた態様で表示されてもよい。ガイドの透明度の調整は、ユーザにより行われてもよく、システムにより自動で行われてもよい。また、撮像により得られる画像、及び、人の顔又は上半身の少なくとも一部に対応するガイドを表示することとしてもよい。撮像により得られる画像は、人の顔又は上半身の少なくとも一部であってもよい。

これにより、例えば、ガイドとして人の顔の輪郭が点線で表示されるとき、ユーザは、表示される自身の撮像画像を確認し、ガイドの点線の中に自分の顔が収まるように、ユーザ端末１と自分の位置を調整することができる。また、ユーザに求める動作に応じて、ガイドの種類、位置、大きさ、ガイドに対応する人の顔又は上半身の少なくとも一部等を変更することで、カメラ５とユーザとの距離や、カメラ５をユーザに対して向ける角度を指定することができる。ユーザは、表示されたガイドを参考に、ユーザ端末１と自分の顔等の位置を調整できる。また、表示画面４の明るさを利用して、明瞭な画像を取得することができる。

また、ガイドは、ガイド中の色や種類を部分的に異ならせるものであってもよい。例えば、顔の輪郭を青色の点線で表示し、鼻の部分を赤色の実線で表示してもよい。なお、第１指示情報として、第２指示情報と同様のガイドを表示することとしてもよい。

次に、ユーザ端末１の操作により、動作情報の取得を終了し、ユーザ端末１からサーバ装置２に撮像及び／又は録音により得られた動作情報が送信される（ステップＳ１４）。サーバ装置２にて、動作情報が受信される（ステップＳ１５）。なお、動作情報は、ユーザ端末１、及び／又は、サーバ装置２にて、記憶されてもよい。

１の動作につき、ステップＳ６～Ｓ１５の処理が実行される。そのため、評価メニューに含まれる全ての動作が全て完了するまで、ステップＳ６～Ｓ１５の処理が繰り返し実行される。

ここで、評価メニューとは、ユーザの状態を評価するために必要な動作が、所定の順番で記憶されたものである。評価メニューには、１以上の指示情報が関連付けて記憶されているともいえる。評価メニューごとに、評価できるユーザの状態や症状が異なり、評価対象に応じて、評価メニューに関連付けて記憶されている動作の種類や数が異なる。なお、ステップＳ１では、評価処理の開始の入力により、１の評価メニューが選択されてもよいし、複数の選択肢で表された評価対象から、任意の選択肢を選択することにより、選択した評価対象に応じた評価メニューについて評価処理の開始の入力をすることとしてもよい。

なお、上記のステップＳ６～Ｓ１５の処理は、１回目の動作がユーザ端末１を反転させて動作情報が取得される動作の場合、前後の動作で動作情報を取得する際のユーザ端末１の向きが異なる場合に適用できる。具体的には、ユーザ端末１を反転させずに動作情報が取得される動作の後に、ユーザ端末１を反転させて動作情報が取得される動作の場合、又は、ユーザ端末１を反転させて動作情報が取得される動作の後に、ユーザ端末１を反転させずに動作情報が取得される動作の場合があげられる。また、ステップＳ９～Ｓ１０の処理を省略し、ステップＳ８の処理の後、ユーザ端末１への操作によりステップＳ１１が実行されてもよいし、ステップＳ８～Ｓ１０の処理を省略してもよい。

一方、１回目の動作がユーザ端末１を反転させずに動作情報が取得される動作の場合、前後の動作で動作情報を取得する際のユーザ端末１の向きが同じ場合、ステップＳ９～Ｓ１１の処理を省略することが好ましい。具体的には、ユーザ端末１を反転させずに動作情報が取得される動作の後に、ユーザ端末１を反転させずに動作情報が取得される動作の場合、又は、ユーザ端末１を反転させて動作情報が取得される動作の後に、ユーザ端末１を反転させて動作情報が取得される動作の場合があげられる。

上述のとおり、ユーザに求める動作ごとにユーザに求める動作に関する情報である指示情報が関連付けて記憶されている。そのため、繰り返しの処理において、ユーザに求める動作が順次変わり、それに応じて、第１指示情報及び第２指示情報によって表示される動作に関するテキスト情報、該動作に関する画像情報、及び／又は、該動作に関する音声情報が変化する。

全ての動作が完了すると、サーバ装置２にて、動作情報が評価される（ステップＳ１６）。サーバ装置２からユーザ端末１に、ユーザの状態に関する評価情報が送信され（ステップＳ１７）、ユーザ端末１にて、評価情報を受信する（ステップＳ１８）。ユーザ端末１にて、評価情報が表示される（ステップＳ１９）。ユーザは、評価情報を確認することで、自身の状態を把握することができる。

また、評価情報がユーザ識別情報と関連付けてサーバ装置２にて記憶されることで、評価情報が登録される（ステップＳ２０）。また、評価情報は、時刻情報と関連付けて記憶されてもよい。時刻情報は、ステップＳ２で評価処理の開始を受け付けたとき、ステップＳ６で指示情報を送信したとき、又は、ステップＳ１６で動作情報の評価を実行したときのいずれでもよい。以上のＳ１～Ｓ２０の処理を実行することにより、評価処理は終了する。

ここで、第１指示情報又は第２指示情報が出力された、ユーザ端末１の表示画面について説明する。図６及び図７は、本発明の実施の形態に係る表示画面の一例を示す図である。図６は、１の動作に関して、ステップＳ８において第１指示情報が出力された表示画面４ａを示す。図７は、該１の動作に関して、ステップＳ１３において第２指示情報が出力された表示画面４ｂを示す。なお、図６及び図７の表示画面４は、ユーザ端末１を反転させずに動作情報を取得する動作に関するものであり、該動作において、ステップＳ９～Ｓ１１の処理は省略される。また、ユーザが直立してユーザ端末１を構えたときの、ユーザ端末１の地面に対して垂直な方向（重力方向）における上下を矢印で示している。図６及び図７は、ユーザがユーザ端末１を構えたときに、カメラ５が上側にあることを示している。

表示画面４ａには、第１指示情報３１ａが表示されている。第１指示情報３１ａには、「以下の早口言葉を１回言ってください」というテキスト情報と早口言葉の内容が表示されている。第１指示情報３１ａの内容が音声として出力されてもよい。また、表示画面４ａには、撮像した画像３２ａ、及び、ガイド３３ａが表示されていてもよい。また、表示画面４ａには、これから取得する動作情報が、評価処理においてユーザが実行する動作において、何番目の動作かを示す情報を表示してもよい。図６では、「３」が表示されており、３番目の動作であることがわかる。

ガイド３３ａとして、顔の輪郭を示す円形の点線と、鼻の位置を原点として直交する２本の点線と、顔の輪郭における顎の位置で接する１本の点線とが表示されている。ユーザは、ガイド３３ａを頼りに、カメラ５の位置を調整して、顔の輪郭を示す円形の点線内に、撮像された自分の顔を、表示画面４ａに表示させることができる。

また、戻るアイコン３４を押下することにより、１つ前の動作の第１指示情報又は第２指示情報が表示された表示画面４を表示する。撮り直しアイコン３５の押下により、取得した動作情報が破棄され、表示画面４ａ又は４ｂが表示される。そのため、表示画面４ａにおいては、撮り直しアイコン３５は押下できないこととしてもよい。開始・終了アイコン３６の押下により、動作情報の取得（録画）が開始し、表示画面４ｂに遷移する。送信アイコン３７の押下により、ステップＳ１４の処理が実行され、取得した動作情報がサーバ装置２に送信される。そのため、表示画面４ａにおいては、送信アイコン３７は押下できないこととしてもよい。

表示画面４ｂには、第２指示情報４１ａ、撮像した画像３２ｂ、及び、ガイド３３ｂが表示されている。第２指示情報４１ａには、早口言葉の内容のみが表示されている。また、ガイド３３ｂは表示画面４ａに表示されたガイド３３ａと同様のものである。開始・終了アイコン３６の押下により、動作情報の取得（録画）が終了し、撮り直しアイコン３５又は送信アイコン３７の押下が可能となる。その他のアイコンの動作は表示画面４ａと同様である。

図８は、本発明の実施の形態に係る表示画面の概略図である。具体的には、ステップＳ１３における表示画面の概略図であり、表示画面４ｂに、撮像されたユーザの画像３２ｂが表示されている。図示するように、ユーザの画像３２ｂに重畳して第２指示情報４１ａが表示されている。ユーザは、表示画面４ｂに表示された自身の顔の画像３２ｂがガイド３３ｂの顔に対応する楕円の点線内に入るように、ユーザ端末１を移動させることができる。また、動作に応じて、ガイドを異ならせることで、ユーザが、ユーザとカメラ５の距離が調整し、画像中におけるユーザの顔の占める範囲が適切な大きさの画像を取得することができる。これにより、ユーザが実施する動作について、評価に必要な適切な動作情報を取得することができる。

次に、１の動作と異なる２の動作に関して、第１指示情報又は第２指示情報が出力された表示画面４について説明する。ここで、１の動作はユーザ端末１を反転させずに動作情報が取得される動作であり、２の動作はユーザ端末１を反転させて動作情報が取得される動作である。なお、ユーザ端末１を反転させて動作情報が取得される動作としては、例えば、軟口蓋に関する動作や喉の動きに関する動作等があげられる。以下では、喉の動きに関する動作の表示画面について説明する。

図９及び図１０は、本発明の実施の形態に係る表示画面の一例を示す図である。図９は、１の動作と異なる２の動作に関して、ステップＳ１１において第１指示情報が出力された表示画面４ｃを示す。図１０は、該２の動作に関して、ステップＳ１３において第２指示情報が出力された表示画面４ｄを示す。また、ユーザが直立してユーザ端末１を構えたときの、ユーザ端末１の地面に対して垂直な方向（重力方向）における上下を矢印で示している。図９及び図１０は、ユーザがユーザ端末１を構えたときに、カメラ５が下側にあることを示している。

なお、戻るアイコン３４、撮り直しアイコン３５、開始・終了アイコン３６、及び送信アイコン３７については、図６及び図７の説明において記載された内容を必要な範囲で参照できる。また、同様の説明は省略する場合がある。また、表示画面４ｃには、これから取得する動作情報が、評価処理においてユーザが実行する動作において、何番目の動作かを示す情報を表示してもよい。図９では、「７」が表示されており、７番目の動作であることがわかる。

表示画面４ｃには、テキスト情報である第１指示情報３１ｂ及び画像情報である第１指示情報３１ｃが表示されている。第１指示情報３１ｂのテキスト情報は、ユーザ端末１を反転させた状態でテキストが読めるように、第１指示情報３１ａのテキスト情報と比較して、反転して表示されている。また、第１指示情報３１ｃの画像情報や各種アイコンも同様に、反転して表示されている。

第１指示情報３１ｂには、動作情報を適切に取得するための具体的な説明として、「端末の上下を反転させてください。そして、顔を斜め下からとるように構え（鼻の穴がしっかり見える角度）、首の中央（喉仏のあたり）をしっかり映してください。唇で舌を挟んだまま唾を３回飲み込んでください。」が表示されている。また、第１指示情報３１ｃには、ユーザに対してユーザ端末１の上下を移動させて、どのように撮影するかを説明する画像が表示されている。第１指示内容３１ｂ及び３１ｃの内容が音声として出力されてもよい。

つまり、第１指示情報３１ｂ及び３１ｃは、ユーザに求める動作に応じて、撮像装置が、表示画面に対して表示画面の長手方向のいずれか一端のある側の反対側にくるようにユーザに求める指示情報を出力することとしてもよい。該指示情報は、表示画面４の上端の近傍に配置された撮像装置が、ユーザがユーザ端末１を構えたときに、表示画面４の下端の近傍にくるように指示するものである。具体的には、該指示情報は、コンピュータ装置を反転することをユーザに求めるものであり、例えば、ユーザ端末１の表示画面４をユーザに向けたまま１８０度回転させる指示を、テキスト情報、画像情報、及び／又は、音声情報として出力できる。

なお、１つ前の動作で実行されたステップＳ６～Ｓ１５の処理において、ユーザに求められた動作として、すでに撮像装置が表示画面４の下端の近傍にくるようにしていた場合は、該指示情報として、撮像装置が表示画面４の下端の近傍にきたまま維持することを指示するものを含んでもよい。

なお、ユーザに求める全ての動作において、撮像装置が、表示画面４に対して前記一端のある側の反対側にくるようにユーザに求める指示情報を出力することとしてもよい。この場合、例えば、ステップＳ６～Ｓ１５の繰り返しの処理において、最初に出力される第１指示情報において、コンピュータ装置を反転することを求める情報を出力してもよい。２回目以降に出力される第１指示情報では、コンピュータ装置を反転したままに維持することを求める情報を出力してもよい。

また、表示画面４ｃに表示されている第１指示情報３１ｂ及び３１ｃ、撮像した画像３２ｃ、ガイド３３ｃ、並びに各種アイコン３４～３７の配置が、表示画面４ａ及び４ｂの表示内容の配置と比較して、上下の向きが反転している。表示画面４のレイアウトを固定したまま、上下が切り替えられているともいえる。また、表示画面４ｃの中心座標を原点として、表示内容を１８０度回転させると、表示画面４ａ及び４ｂと同じ向きで表示される。

つまり、ユーザに求める動作に応じて、表示画面４に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することを可能としてもよい。具体的には、表示画面４ａ及び４ｂに表示される第１指示情報及び第２指示情報には、ユーザに求める動作として早口言葉に関する情報が、且つ、表示画面４ｃ及び４ｄに表示される第１指示情報及び第２指示情報には、ユーザに求める動作として喉の動きに関する情報が、それぞれ関連付けて記憶されている。また、早口言葉に関する情報の表示画面４のレイアウトは、一般の上下方向のレイアウトが記憶されており、喉の動きに関する情報の表示画面４のレイアウトは、上下方向を反転させたレイアウトが記憶されている。これにより、図６と図７及び図９と図１０のような表示が可能となる。

ユーザに求める動作と、表示する指示情報のレイアウトとは、関連付けてサーバ装置２に記憶されてもよい。表示画面４に表示する情報とは、第１指示情報、及び第２指示情報が含まれ、例えば、ユーザに求める動作についてのテキスト情報、画像情報、及び音声情報だけでなく、ガイドに関する情報も含まれる。

なお、ユーザに求める動作と、カメラ５の位置と、指示情報の表示画面４のレイアウトとが関連付けて記憶されていてもよい。例えば、ユーザ情報において、カメラ５の位置をユーザ端末１の下辺近傍であると登録している場合、早口言葉に関する情報の表示画面４のレイアウトは、一般の上下方向を反転させたレイアウトが出力され、喉の動きに関する情報の表示画面４のレイアウトは、一般の上下方向のレイアウトが出力される。

なお、ステップＳ６～Ｓ１５の繰り返しの処理において、ユーザに求める全ての動作について、撮像装置が、表示画面に対して表示画面の長手方向のいずれか一端のある側の反対側にくるようにユーザに求める場合、ステップＳ６～Ｓ１５の繰り返しの処理における表示画面４に表示する第１指示情報及び第２指示情報として、全ての上下方向を反転させたレイアウトが記憶されていることとしてもよい。

表示画面４ｄには、テキスト情報である第２指示情報４１ｂ及び画像情報である第２指示情報４１ｃ、撮像した画像３２ｄ、及び、ガイド３３ｄが表示されている。第２指示情報４１ｃは、テキスト情報及び画像情報を含んでいる。ガイド３３ｄは、顔の輪郭を青色の実線で、鼻の輪郭を赤色の太字の実線で表示している。また、表示画面４ｄに表示されている表示内容は、表示画面４ｃと同じ向きであり、表示画面４ａ及び４ｂと比較して、上下の向きが反転している。

表示画面４ｃ及び４ｄの表示内容が、表示画面４ａ及び４ｂと比較して、上下の向きが反転していることにより、ユーザは、ユーザ端末１を操作するために、ユーザ端末１の表示画面４を自分に向けたまま、１８０度回転させることとなる。そして、その状態で、カメラ５により、ユーザ自身を撮影することができる。

ここで、撮像方法について、説明する。図１１は、本発明の実施の形態に係る撮像方法の概略図である。図１１（ａ）は、ユーザ端末１を反転させずに動作情報を取得する際に、ユーザが自身の口腔を撮影している場面を表している。一方、図１１（ｂ）は、ユーザ端末１を反転させて動作情報を取得する際に、ユーザが自身の口腔を撮影している場面を表している。また、カメラ５の視軸を一点鎖線の矢印で示している。

図示するように、カメラ５がユーザ端末１の上端の近傍に配置される場合と比較して、ユーザがユーザ端末１を構えたときに、カメラ５がユーザ端末１の下端の近傍にある場合、カメラ５の視軸が、ユーザの口腔に対してより仰角に設定することができる。このため、軟口蓋等を評価するために喉の奥まで撮影された口腔内の撮影が必要である動作の場合、カメラ５をユーザ端末１の下端の近傍に移動させて画像を取得することにより、口腔内の画像を鮮明に取得できる。これにより、ユーザの状態の評価を適切に実行することができる。

なお、ユーザ端末１を反転させて動作情報を取得する動作として、軟口蓋に関する動作があげられる。軟口蓋は、硬口蓋という口の奥の湾曲した固い部分の後ろにある、粘膜に覆われた部分である。そのため、軟口蓋に関する動作を撮影する際は、ユーザ端末１を反転させて動作情報を取得することで、軟口蓋の画像を鮮明に取得できる。

また、図１１（ｂ）に示すように、ユーザの口唇とカメラ５の最短距離が、所定の範囲で撮影することで、表示画面全体の明るさにより、口腔内の画像を鮮明に取得できる。表示画面の光線を口に対して照射する観点から、所定の範囲は、１５ｃｍ以内が好ましく、１０ｃｍ以内がより好ましく、５ｃｍ以内がさらに好ましい。また、動作情報の焦点を合わせる観点から、所定の範囲は、２ｃｍ以上が好ましく、３ｃｍ以上がより好ましい。また、例えば、ユーザの口唇とカメラ５の最短距離が、ユーザの握りこぶし１つ分に対応する距離としてもよい。

よって、撮像装置が、ユーザの所定の部位から所定の範囲となるようにユーザに求める指示情報が出力されてもよい。該指示情報は、ステップＳ８の第１指示情報として出力されてもよいし、ステップＳ８にて出力される第１指示情報の前又は後に出力されてもよい。ユーザの所定の部位としては、口唇、鼻、喉、歯等の人の顔又は上半身の少なくとも一部があげられる。具体的には、軟口蓋に関する動作の際の指示情報として、ユーザの口唇とカメラ５の最短距離が、所定の範囲で撮影することを求める旨の情報が出力されてもよい。

さらに、本発明の一態様において、指示情報には、ユーザに求めるユーザの喉の動作に関する情報が含んでいてもよい。この場合、ステップＳ１６において、喉の動きに関する動作情報から、嚥下障害であるか否かを評価することができる。なお、図９及び図１０は、ユーザの喉の動作に関する動作情報を取得する際の表示画面である。

このとき、ステップＳ８、Ｓ１１及びＳ１３の第１指示情報及び第２指示情報として、ユーザに求めるユーザの喉の動作に関する情報を出力することができる。喉の動作としては、例えば、つばを飲み込んで喉を動かす動作があげられる。また、ステップＳ８又はＳ１１において、第１指示情報として、撮像装置であるカメラ５の位置がユーザの顔より下方であり、且つ、仰角からユーザの喉を撮影することをユーザに求める撮影に関する指示情報を出力することとしてもよい。該指示情報は、テキスト情報、画像情報、及び／又は、音声情報として出力できる。また、該指示情報には、仰角からユーザの喉を撮影することだけでなく、カメラ５を表示画面５の下端の近傍にくるようにすることを指示する情報が含まれていてもよい。また、仰角からユーザの喉を撮影する際に、ユーザの顔又は顔の一部を喉と同時に撮影してもよい。図９及び図１０に示すように、撮像により得られる画像、及び、人の顔又は上半身の少なくとも一部に対応するガイドを表示することとしてもよい。

なお、ユーザの顔より下方とは、顎を下側、頭部を上側としたときの上下方向に対して、顔の最下部よりも下に位置することを意味する。また、「仰角から喉を撮影する」とは、ユーザ端末１のカメラ５の視軸が上向きとなる角度で、喉を撮影することである。具体的には、ユーザ端末１のカメラ５の視軸を起点に、０度より大きく９０度未満であることが好ましい。

ここで、喉に関する動作情報の撮像方法について、説明する。図１２は、本発明の実施の形態に係る撮像方法の概略図である。図１２において、仰角は、一点鎖線の矢印で示したカメラ５の視軸と、二点鎖線とがなす角αである。カメラ５の位置がユーザの顔より下方であり、且つ、仰角からユーザの顔及び喉を撮影することで、評価に必要なユーザの喉の画像を適切に取得することができる。

ここで、ステップＳ１６の動作情報の評価について、説明する。動作情報の評価は、動作情報が画像情報の場合、ＡＩによる画像処理により実行できる。また、動作情報が音声情報の場合、ＡＩによる音声処理により実行できる。

評価方法は特に限定されないが、例えば、理想的な動作を示す画像等と、ユーザの動作情報との類似度を算出することで、評価を実行してもよい。類似度の算出法は、テンプレートマッチング、動的計画法、グラフマッチング等であってよい。また、動作情報における特徴抽出を行い、該抽出した特徴について、理想的な動作を示す画像等と、類似度を算出することとしてもよい。また、動作情報中の顔の輪郭や唇の輪郭を特定し、画像中の明度の変化から、顔や口の動きを特定して、評価を行うとしてもよい。

また、ステップＳ６～Ｓ１５の繰り返しの処理のいずれかにおいて、基準となる画像情報を取得することが好ましい。基準となる画像情報の取得を最初の繰り返しの処理で実行する場合、第１指示情報として、「表示されるガイドに顔を合わせてください」といったガイドの説明や、「撮影中はできるだけ顎を動かさないように」といった撮影の注意事項、「撮影は一つのタスクごとにおこないます」といったこれから実施する動作の説明が表示されてもよい。また、ステップＳ１３において、第２指示情報の出力を省略してもよい。基準となる画像情報とは、他の動作情報の画像について画像処理を行う際に、明度やＲＧＢ値の比較の基準とする画像である。

［運動処理］
次に、運動処理について説明する。運動処理は、ユーザに対して、所定の運動を実施させるための処理である。なお、所定の運動には、所定の動作も含まれる。図１３は、本発明の実施の形態に係る運動処理のフローチャートを示す図である。

まず、ユーザは、ユーザ端末１を操作し、システムにログインする。システムへは、評価処理と同様の方法により、ログインできる。次に、ユーザは、ユーザ端末１を操作して、運動処理の開始の入力をする（ステップＳ２１）。ステップＳ２１では、複数の選択肢で表された運動メニューから、任意の選択肢を選択することにより、選択した運動メニューについて運動処理の開始の入力をすることとしてもよい。

ここで、運動メニューとは、ユーザに求める運動を、所定の順番で記憶されたものである。運動メニューには、１以上の後述の第３指示情報が関連付けて記憶されているともいえる。運動メニューごとに、該運動により得られる効果が異なり、効果に応じて、関連付けて記憶されている運動の種類や数、完了までにかかる時間が異なる。また、運動メニューに含まれるユーザに求める運動は、１つの運動でもよいし、複数の運動であってもよい。

入力された運動処理の開始に関する情報は、ユーザ端末１からサーバ装置２へ送信され、サーバ装置２に受信される。それにより、サーバ装置２にて、運動処理の開始の要求を受け付ける（ステップＳ２２）。次に、サーバ装置２からユーザ端末１に、第３指示情報が送信される（ステップＳ２３）。ユーザ端末１にて、第３指示情報が受信される（ステップＳ２４）。

ここで、第３指示情報とは、ユーザに求める運動に関する情報であり、ユーザに対して指示をするための情報が含まれる。ユーザに求める運動とは、ユーザの状態を維持、改善、及び向上するために、ユーザに実施させる動作のことをいう。ユーザに求めるユーザの動作は、評価処理と同様の動作であってもよいし、異なる動作であってもよい。

ユーザに求める運動に関する情報としては、ユーザに実施させる動作に関するテキスト情報、該動作に関する画像情報、及び／又は、該動作に関する音声情報があげられる。テキスト情報、画像情報、又は、音声情報のいずれかであってもよいし、２以上を組み合わせたものであってもよい。

第３指示情報は、動作ごとにサーバ装置２に記憶される。また、ユーザに求める運動に関する情報は、該運動の完了までにかかる時間に関する時間情報と関連付けて記憶されていてもよい。ユーザに求める運動に関する情報として、時間情報を出力してもよい。

次に、ユーザ端末１にて第３指示情報が受信されると、１の運動に対応する第３指示情報が出力される（ステップＳ２５）。なお、出力とは、上述の評価処理と同様の意味を有する。また、第３指示情報の出力と同時に、時間の経過が計測される。ステップＳ２１にて選択された運動メニューに、１の運動と２の運動が含まれる場合は、１の運動に関連付けて記憶された所定の時間が経過したとき、又は、ユーザ端末１への操作により、２の運動に対応する第３指示情報が出力される。つまり、ステップＳ２１にて選択された運動メニューに関連付けて記憶された全て運動が終わるまで、ステップＳ２５の処理が繰り返し実行される。

運動メニューに含まれる全ての運動について、第３指示情報の出力が完了すると、ユーザ端末１からサーバ装置２に全ての運動の第３指示情報の出力が完了した旨である完了情報が送信される（ステップＳ２６）。サーバ装置２にて、完了情報が受信される（ステップＳ２７）。

サーバ装置２にて、完了情報がユーザの識別情報及び時刻情報と関連付けて記憶され、完了情報が登録される（ステップＳ２８）。以上のステップＳ２１～Ｓ２８の処理を実行することにより、運動処理は終了する。

なお、上述の実施の形態では、ユーザ端末１では第３指示情報の出力のみを実行したが、評価処理と同様に、ユーザ端末１の撮像装置により、ユーザの動作情報を取得し、第３指示情報及び得られた画像情報を、表示画面４に表示してもよい。この場合、第３指示情報には、ガイドに関する情報も含まれる。

また、ユーザが１の運動の開始の入力前と入力後とで、異なる第３指示情報を出力してもよい。例えば、１の運動の開始の入力前には、該運動の動作の説明としてテキスト情報及び画像情報が表示され、１の運動の開始の入力後は、カウントダウンのタイマと該運動の動作の説明として画像情報が表示されてもよい。

また、上述の実施の形態では、ユーザが、任意の運動メニューを選択する態様について説明したが、運動メニューは、ユーザ識別情報に関連付けて記憶された評価情報に応じて、変更されてもよい。例えば、所定の機能について評価が低いユーザに対して、該機能に関連する運動を多く含んだ運動メニューとしてもよいし、該機能に関連する運動の時間を基準の時間よりも増やした運動メニューとしてもよい。

なお、本発明のシステムは、ヨガや筋トレといった運動や、言語学習等、自分の動作とお手本の動作を参考にしながら動作を実施する必要があるものについて、適用することができる。

［実行管理］
本発明のシステムは、評価情報及び完了情報に関連付けて時刻情報が記憶されている。そのため、ユーザが評価処理及び運動処理を実行した日時を管理することができる。例えば、カレンダーに評価処理又は運動処理を実施した記録を表示することができる。具体的には、評価処理又は運動処理を実行した日がわかるような態様で表示することとしてもよい。また、実行した運動処理の運動メニューごとに、異なる態様で表示してもよい。異なる態様としては、例えば、異なる色や異なるアイコンを表示することとしてもよい。

また、評価処理又は運動処理を所定の期間に所定の回数（例えば、評価処理は毎月４回実施する等）、実施することが推奨されているユーザの場合、評価処理又は運動処理を実施する予定の日には、ポップアップ通知がなされてもよい。また、所定の期間ごとに、実施目標の達成率を表示してもよい。また、実施した評価処理において評価された評価情報が、一覧で閲覧できるようにしてもよいし、直近の評価情報が表示されてもよい。

ユーザは、評価処理により、ユーザの状態を把握することができる。ユーザの状態は、動作ごとに個別に評価されてもよいし、複数の動作から総合的に評価されてもよい。これにより、発見が難しい口腔機能の低下を早期に発見できる。また、評価処理により、ユーザの状態が、マランパチ分類のいずれの分類に属するかの評価が可能となる。そのため、睡眠時無呼吸症候群等の疾患の兆候を早期に発見することができる。また、ユーザは、運動処理により、ユーザの健康状態の維持、改善、及び向上を図ることができる。また、口腔機能の維持、改善、及び向上を図り、美容効果を奏することができる。

本発明によれば、撮像装置が、表示画面に対して表示画面の長手方向のいずれか一端のある側の反対側にくるようにユーザに求める指示情報、及び／又は、撮像装置が、ユーザの所定の部位から所定の範囲となるようにユーザに求める指示情報を出力するため、ユーザの口腔内又は喉に関する画像といったユーザの動作情報を好適に取得することができる。

本発明によれば、センサにより、撮像装置が表示画面に対して前記一端のある側の反対側にくるように、コンピュータ装置の上下を反転させたことを検知するため、ユーザの状態を評価するために必要な画像を取得できる位置に、ユーザが、撮像装置を移動させたことを検出できる。また、本発明によれば、反転を検知した場合に、表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することが可能なため、ユーザによる動作情報の取得が円滑に実行できる。

本発明によれば、ユーザに求める動作に応じて、表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することが可能であるため、動作に応じて、ユーザの状態を評価するために必要な画像情報を取得することができる。

本発明によれば、表示装置の表示画面の明るさを調整する、表示装置の表示画面の明るさを調整することをユーザに求める指示情報を出力する、又は、表示装置の表示画面の明るさを調整するための調整情報を出力するため、ユーザの動作に関する画像情報を鮮明な状態で取得することができる。

本発明によれば、撮像により得られる画像、及び、ユーザに求める動作に関する情報を表示装置の表示画面に表示するため、撮像された自分の動作と比較しながら、求められる動作を実施できる。また、本発明によれば、ユーザに求める動作に関する情報として、該動作に関するテキスト情報、及び、該動作に関する画像情報を表示するため、ユーザが求められる動作を適切に実施することができる。

１：ユーザ端末２：サーバ装置３：通信ネットワーク
４：表示画面５：カメラ６：スピーカ及びマイク
１１：制御部１２：ＲＡＭ１３：ストレージ部
１４：入力部１５：表示部１６：通信インタフェース１７：撮像部
１８：録音部１９：出音部
２１：制御部２２：ＲＡＭ２３：ストレージ部２４：通信インタフェース
３１：第１指示情報３２：画像３３：ガイド３４：戻るアイコン
３５：撮り直しアイコン３６：開始・終了アイコン３７：送信アイコン
４１：第２指示情報

Claims

長方形の表示画面を有する表示装置と、前記表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、前記撮像装置により撮像できる空間にユーザが存在する場合に、前記ユーザが、前記撮像装置により撮像された前記ユーザを視認できるように前記表示画面を表示することが可能となるように、前記撮像装置が配置されたコンピュータ装置において実行されるプログラムであって、
前記コンピュータ装置を、
前記撮像装置により空間を撮像する撮像手段と、
前記ユーザに対して所定の動作を実施することを求める情報を出力する情報出力手段と、
前記撮像装置が、前記表示画面に対して前記一端のある側の反対側にくるように前記ユーザに求める指示情報を出力する指示手段、
として機能させる、プログラム。
前記コンピュータ装置を、
前記ユーザに対して実施することを求める前記所定の動作に応じて、前記表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示することが可能な表示手段、
として機能させる、請求項１に記載のプログラム。
前記コンピュータ装置がセンサを備え、
前記コンピュータ装置を、
前記センサにより、前記撮像装置が前記表示画面に対して前記一端のある側の反対側にくるように、前記コンピュータ装置の上下を反転させたことを検知する反転検知手段、
として機能させ、
前記表示手段が、前記反転検知手段による上下の反転を検知した場合に、前記表示画面に表示する情報のレイアウト及び文字、記号若しくは図柄の上下を切り替えて表示する、請求項２に記載のプログラム。
前記情報出力手段が、前記ユーザに対して喉の動作を実施すること求める情報を出力し、
前記コンピュータ装置を、
前記撮像装置の位置が前記ユーザの顔より下方であり、且つ、仰角から前記ユーザの喉を撮影することを前記ユーザに求める指示情報を出力する第２指示手段、
として機能させる、請求項１に記載のプログラム。
前記第２指示手段が、前記撮像により得られる画像、及び、人の顔又は上半身の少なくとも一部に対応するガイドを表示する、請求項４に記載のプログラム。
前記コンピュータ装置を、
前記撮像により得られる画像を記憶する画像記憶手段、及び／又は、前記撮像により得られる画像を他のコンピュータ装置へ送信する画像送信手段
として機能させる、請求項１に記載のプログラム。
長方形の表示画面を有する表示装置と、前記表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、前記撮像装置により撮像できる空間にユーザが存在する場合に、前記ユーザが、前記撮像装置により撮像された前記ユーザを視認できるように前記表示画面を表示することが可能となるように、前記撮像装置が配置されたコンピュータ装置であって、
前記撮像装置により空間を撮像する撮像手段と、
前記ユーザに対して所定の動作を実施することを求める情報を出力する情報出力手段と、
前記撮像装置が、前記表示画面に対して前記一端のある側の反対側にくるように前記ユーザに求める指示情報を出力する指示手段、
を備える、コンピュータ装置。
長方形の表示画面を有する表示装置と、前記表示画面の長手方向のいずれか一端の近傍に配置された撮像装置とを備え、前記撮像装置により撮像できる空間にユーザが存在する場合に、前記ユーザが、前記撮像装置により撮像された前記ユーザを視認できるように前記表示画面を表示することが可能となるように、前記撮像装置が配置されたコンピュータ装置において実行される方法であって、
前記撮像装置により空間を撮像する撮像ステップと、
前記ユーザに対して所定の動作を実施することを求める情報を出力する情報出力ステップと、
前記撮像装置が、前記表示画面に対して前記一端のある側の反対側にくるように前記ユーザに求める指示情報を出力する指示ステップ、
を有する、方法。