JP6210884B2 - 操作支援装置、操作支援方法及び操作支援プログラム - Google Patents

Description

本発明は、タッチパネル等の表示部を備えた情報処理装置等の電子機器の操作について、ユーザ（プレイヤ）の習熟度等に適した操作支援を行う操作支援装置、操作支援方法及び操作支援プログラムに関する。

従来から、機器などのハードウェアをユーザが操作するときの操作支援技術としては、各種の手法が提案されている。
例えば、特許文献１に記載された機器や装置では、過去の操作でユーザの対応が早かったり正解率が高かったりした操作ガイドアプリの機能や、新たに加わった機能であるが共通機能として機能の一部もしくは全部を学んだことがある操作ガイドアプリの機能に関しては、ユーザ（以下、操作を行うユーザをプレイヤという）が操作方法や内容を推測できるとして、プレイヤの操作負担を減らし、機器が提示するメッセージに対する信頼性を上げてメッセージの見落としによる操作ミスを防ぐために、操作ガイドを提示しないことが行われている。

また、ビデオゲームなどの各種アプリケーションの制御を行う各種デバイスに適用されるユーザインタフェース技術に関する特許文献２によれば、ビデオゲーム処理装置において、表示画面で受け付けた操作に応じて合計プレイ時間や特定機能の実行回数などのビデオゲームの進行状態を制御し、進行状態に応じてプレイヤの習熟度を判定し、習熟度に応じて表示画面の操作性を向上させることが行われている。

特許第４１５３９８０号 特許第５２３７３２５号

しかしながら、上述した特許文献１の手法によれば、プレイヤの操作ガイドアプリの使用履歴に基づいてプレイヤが操作方法や内容を推測できない機能を判別し、推測できない機能についてのみ操作ガイドアプリを提示するので、以下に示すような課題が存在した。
（１）操作ガイドアプリを事前に使用していないとプレイヤの習熟度を判断できず、操作ガイドアプリの使用開始時からプレイヤの習熟度にあわせた支援ができない。
（２）シニアなどのタッチデバイス操作に不慣れな層は、操作ガイドアプリを使用する際の周辺の環境や精神面の変化に応じて、習熟度が変化する場合があるため、ガイドアプリの操作中に、プレイヤの周辺の環境や精神面の変化を判断してそれらに応じて習熟度を判断し、学習対象操作の説明の詳細度や練習回数や操作スピードといった指導内容を変えられることが望ましい。

また、特許文献２の手法によれば、ビデオゲームの操作中に、合計プレイ時間や特定機能の実行回数など、進行時に表示画面で受け付けられた操作に基づいてプレイヤの習熟度を判定し、習熟度に応じて動的に表示画面の操作性を向上させることが行われている。
しかしながら、プレイヤの習熟度は、操作ガイドアプリの進行時だけでなく、操作前の操作説明視聴時や操作開始直後のプレイヤの状況に大きく影響を受ける。一般に、操作ガイドの指示に従わず操作の説明を注視しないプレイヤは、操作の理解度が低く、習熟度が低い。従って、動的にアプリの操作性を向上させるためには、操作説明時や操作開始時のプレイヤの状況を観察することが望ましいが、そのような技術はなかった。
また、特許文献２の手法では、プレイヤの操作状況について、表示画面だけから取得することはできなかった。

すなわち、従来技術の中には、プレイヤに使用開始前に余計な操作をさせることなく操作ガイドアプリの使用開始時から操作支援を行い、操作デバイスだけでプレイヤの操作状況を把握し、動的にプレイヤの習熟度や習得意欲を推測して説明の詳細度や練習回数や操作スピードといった指導内容を変化させる操作支援装置や操作支援方法が存在しなかった。

本発明は上記実情に鑑みて提案されたもので、プレイヤが電子機器等の装置を操作する場合に、プレイヤによる操作状況から動的に、習熟度等に適した操作支援を行う操作支援装置、操作支援方法及び操作支援プログラムを提供することを目的とする。

上記目的を達成するため請求項１は、表示画面を有する入力装置を備え、プレイヤによる操作ガイドアプリの操作状況を前記入力装置から取得するとともに、プレイヤの操作時における操作状況を検知する認識装置を備えることでプレイヤによる操作を動的に支援する操作支援装置であって、次の構成を含むことを特徴としている。
前記表示画面で前記操作ガイドアプリを実行する操作ガイド実行部。
前記表示画面におけるプレイヤの操作状況を前記入力装置で受け付けるとともに、 前記認識装置によるプレイヤの操作時における操作状況を受け付ける操作状況受付部。
前記操作状況受付部によって受け付けたプレイヤの操作状況が期待するリアクションに合致しているか否かを判断することによってプレイヤの習熟度や習得意欲を推測する操作状況解析部。
前記操作状況解析部で推測したプレイヤの習熟度や習得意欲に応じて、プレイヤに適した操作支援方法を決定する操作支援方法決定部。
前記操作支援方法決定部で決定した操作支援方法に基づいて前記操作ガイドアプリの操作ガイドパラメタを更新する操作ガイドパラメタ決定部。
そして、前記操作状況受付部は、プレイヤによる操作支援装置の回転操作や傾け操作の角度や速度の操作状況の受け付けを含む。
例えば、前記操作状況受付部は、操作支援装置に付属の加速度センサを用いて、プレイヤが操作支援装置を傾けたり回転させたりしていることを検出する。

請求項２は、請求項１の操作支援装置において、
前記入力装置の表示画面をタッチパネルで構成し、
前記操作状況受付部は、プレイヤによる接触操作による前記タッチパネルの押下操作を検出することを特徴としている。

請求項３は、請求項１の操作支援装置において、
前記認識装置は、プレイヤの操作時における周辺状況の検知を含み、
前記操作状況受付部は、
プレイヤの音声以外の操作支援装置の周辺の音声、
操作支援装置の周辺の臭いや温度や湿度、
のいずれか又は複数の周辺状況を受け付け、
前記操作状況解析部は、
前記操作状況及び前記周辺状況からプレイヤの習熟度や習得意欲を推測することを特徴としている。

前記操作状況受付部は、操作支援装置に付属の近接センサを用いて、プレイヤがタッチパネルに触らずにタッチパネルの上方でジェスチャ操作をしていることを検出してもよい。

前記操作状況受付部は、操作支援装置に付属のマイクロホンを用いて操作支援装置の周辺の音声を検出してもよい。

前記操作状況受付部は、操作支援装置に付属のマイクロホンを用いて、プレイヤの発する言葉や音声を検出してもよい。

前記操作状況受付部は、操作支援装置に付属のカメラを用いて、操作ガイドアプリの説明中に、プレイヤが表示画面以外を見ていることを検出してもよい。

前記操作状況受付部は、臭気センサ、温度センサ、湿度センサを用いて、操作支援装置の周辺の臭いや温度や湿度を検知してもよい。

前記操作状況受付部は、操作開始指示を出した後に一定時間が経過しても、前記入力装置や前記認識装置で、プレイヤからの期待されるリアクションを検出する手段を備えていてもよい。

請求項４は、請求項３の操作支援装置において、
前記入力装置や前記認識装置が受けつけた操作ガイドアプリの操作状況と前記期待されるリアクションや前記習熟度や前記習熟意欲とが対応付けされた情報である操作習熟度判定情報を記憶する操作習熟度判定記憶部を含み、
前記操作状況解析部は、前記操作習熟度判定情報を参照して受け付けた操作状況が前記期待されるリアクションに合致しているか否かを判断することで、前記習熟度や習得意欲を判定することを特徴としている。
ここで、習熟度や習熟意欲の判定例について、以下に示す。

前記操作状況解析部は、期待されるリアクションに従わずにプレイヤがタッチパネルを押下していることから、プレイヤの習熟度が、操作ガイドアプリの説明にしたがって説明を注視できなかったり、注視していても理解できなかったりするほど低いことを検出することで前記判定を行う。

前記操作状況解析部は、期待されるリアクションに従わずにプレイヤが操作支援装置を傾けたり回転させたりしていることから、プレイヤが操作支援装置の側面や背面の特定機能に関心をもっていることを検出することで前記判定を行う。

前記操作状況解析部は、期待されるリアクションに従わずにプレイヤがタッチパネルの上方でジェスチャ操作をしていることから、プレイヤが操作のイメージトレーニングをしていることを検出することで前記判定を行う。

前記操作状況解析部は、操作支援装置の周辺の騒音が操作ガイドアプリの音声と比較して大き過ぎるときに、プレイヤが操作ガイドアプリの音声を聞き取れない可能性があることを検出することで前記判定を行う。

前記操作状況解析部は、期待されるリアクションに従わずにプレイヤが言葉や音声を発していることから、プレイヤが操作ガイドアプリの内容に戸惑っていることを検出することで前記判定を行う。

前記操作状況解析部は、プレイヤが操作支援装置の表示画面を見ていないことから、プレイヤが操作ガイドアプリに関心がないことを検出することで前記判定を行う。

前記操作状況解析部は、操作ガイドアプリの説明が終了して操作練習の開始を指示した後に、一定時間が経過してもプレイヤから期待したリアクションが戻ってこないことから、プレイヤが操作ガイドアプリの指示を理解できないほど自信がなかったり習熟度が低かったりすることを検出することで前記判定を行う。

請求項５は、請求項１から請求項４のいずれかに記載の操作支援装置において、
前記習熟度や前記習得意欲と、前記操作支援方法とが対応付けされた操作支援方法決定情報を記憶する操作支援方法記憶部を含み、
前記操作支援方法決定部は、前記操作支援方法決定情報を参照して前記操作支援方法を決定することを特徴としている。
ここで、操作支援方法の例について、以下に示す。

前記操作支援方法決定部は、操作ガイドアプリの説明中にプレイヤが操作ガイドアプリの指示に従うことができない程、習熟度の低いプレイヤである場合は、ワンステップ毎の説明や電話やスカイプを使った第三者による学習支援を提供するようにしてもよい。

前記操作支援方法決定部は、プレイヤが操作支援装置の側面や背面にある特定機能に注目していると推測した場合は、プレイヤが特定機能を十分に観察ができるように操作ガイドアプリの進捗速度を遅らせたり、特的機能についての詳細な説明を追加して提供するようにしてもよい。

プレイヤが特定機能の観察を終えて操作支援装置を元の位置に戻したことを検出した場合は、操作ガイドアプリの進捗速度を元の速度に戻したり、元の場所から再開したりするようにしてもよい。

また、前記操作支援方法決定部は、プレイヤがタッチパネルの上方でイメージトレーニングを行っていることを検出した場合は、該当操作の練習回数を増やしたり、練習スピードを遅らせたりして、操作ガイドアプリを提供するようにしてもよい。

前記操作支援方法決定部は、操作ガイドアプリの説明中に、操作支援装置の周辺に操作の進捗を妨げかねない騒音を検出した場合は、ガイドの音量をプレイヤにあわせて調整したり、テキストモードでのガイドの提供やイヤホンを通しての受講を提案するようにしてもよい。

前記操作支援方法決定部は、操作ガイドアプリの説明中に、プレイヤが戸惑っていると推測した場合は、プレイヤに操作状況に応じたヘルプ機能を提供するようにしてもよい。

前記操作支援方法決定部は、プレイヤが操作ガイドアプリに関心がないことを検出した場合は、プレイヤに警告を出したり操作の中止を勧告するようにしてもよい。

前記操作支援方法決定部は、プレイヤが操作ガイドアプリの指示を理解して操作を開始できないほど自信がなかったり習熟度が低かったりすると推測した場合は、プレイヤが操作を開始するまで操作開始のメッセージを出し続けたり、繰り返し出したりするようにしてもよい。

請求項６は、請求項１から請求項５のいずれかに記載の操作支援装置において、
前記操作支援方法と前記操作ガイドパラメタとが対応付けされた操作ガイドパラメタ決定情報を記憶する操作ガイドパラメタ決定記憶部を含み、
前記操作ガイドパラメタ決定記憶部は、前記操作ガイドパラメタ決定情報を参照して前記操作ガイドパラメタを決定して実行用操作ガイドパラメタ記憶部に記憶することを特徴としている。

請求項７は、請求項１から請求項６のいずれかに記載の操作支援装置において、
前記操作ガイド実行部は、前記操作ガイドパラメタを参照して、操作ガイドアプリを実行することを特徴としている。

請求項８は、請求項１から請求項７のいずれかに記載の操作支援装置において、
前記操作ガイド実行部は、前記表示画面に操作説明を表示する説明画面を提示する操作ガイドアプリを実行することを特徴としている。

請求項９は、請求項１から請求項７のいずれかに記載の操作支援装置において、
前記操作ガイド実行部は、前記表示画面に操作練習を表示する操作画面を提示する操作ガイドアプリを実行することを特徴としている。

請求項１０は、請求項１から請求項７のいずれかに記載の操作支援装置において、
前記操作ガイド実行部は、前記表示画面に操作説明を表示する説明画面と、前記表示画面に操作練習を表示する操作画面とを交互に提示する複数の関連操作を提供し、
前記操作支援方法決定部は、プレイヤの操作状況から推測した前記習熟度や前記習熟意欲に応じて後続の操作練習時の操作支援方法を決定し、決定した操作支援方法を後続のいずれかの操作練習の表示に適応させることを特徴としている。

請求項１１は、前記操作ガイド実行部は、請求項１から請求項１０のいずれかに記載の操作支援装置において、
プレイヤによって期待されるリアクションに従った操作が行われなかった操作状況に対して、後続の操作過程で、同一の操作状況に対して期待されるリアクションに従った操作が行われた場合は、実行していた操作支援を解除することを特徴としている。

請求項１２は、請求項１から請求項１１のいずれかに記載の操作支援装置において、
前記操作ガイド実行部は、直前のプレイヤの操作状況や周辺状況に応じて前記操作ガイドアプリの指導方法や指導レベルを変化させて実行することを特徴としている。

請求項１３は、請求項８から請求項１０のいずれかに記載の操作支援装置において、
前記操作ガイド実行部は、前記操作支援方法決定部が複数の操作支援方法を同時に取得した場合、後続の操作説明又は操作練習にいずれかの操作支援方法を適応させることを特徴としている。

請求項１４は、請求項１から請求項１３に記載の操作支援装置において、
前記操作支援方法決定部は、同一プレイヤや他の同程度の習熟度や習熟意欲のプレイヤの過去や異なる操作ガイドアプリの操作成績を参考にして、習熟度や習熟意欲を推測することを特徴としている。

請求項１５は、請求項９又は請求項１０の操作支援装置において、
前記操作ガイド実行部は、プレイヤの期待されるリアクションが期待よりも遅れて発生する場合、その後の操作練習の開始時期や速度をプレイヤの習熟度や習得意欲に応じて遅らせることを特徴としている。

請求項１６は、請求項８から請求項１０のいずれかに記載の操作支援装置において、
前記操作ガイド実行部は、前記操作説明時におけるプレイヤの操作状況から習熟度や習熟意欲を推測し、操作支援方法を決定する複数の操作ガイドアプリを実行することを特徴としている。

請求項１７は、請求項１０の操作支援装置において、
前記操作ガイド実行部は、前記操作練習時におけるプレイヤの操作状況から習熟度や習熟意欲を推測し、操作支援方法を決定する１つ以上の操作ガイドアプリを実行することを特徴としている。

請求項１８は、装置についての操作ガイドアプリを操作中のプレイヤを支援するための操作支援方法であって、
前記装置に搭載された表示画面を有する入力装置で所定の操作ガイドパラメタを用いて操作ガイドアプリを実行する操作ガイド実行ステップと、
前記入力装置を用いてプレイヤの操作状況を取得するとともに、プレイヤによる前記装置の回転操作や傾け操作の角度や速度の操作状況を取得する操作状況受付ステップと、
前記操作状況受付ステップで受けつけた操作状況を解析してプレイヤの習熟度や習得意欲を推測し、プレイヤが操作に躓きそうな状態であることを検出する操作状況解析ステップと、
前記操作状況解析ステップで取得した、操作に躓きそうな状況にあるプレイヤを支援するための操作支援方法を決定するための操作支援方法決定ステップと、
前記操作支援方法決定ステップで検出した操作支援方法を実行中の操作ガイドアプリに即座に適応するために、前記操作ガイドアプリの操作ガイドパラメタを更新する操作ガイドパラメタ決定ステップと
を含むことを特徴としている。

請求項１９は、請求項１８に記載の操作支援方法の各手順をコンピュータにより実行可能とした操作支援プログラムであることを特徴としている。

請求項２０は、請求項１から請求項１１のいずれかに記載の操作支援装置における各部を装置が備えるコンピュータ上に構築可能とした操作支援プログラムであることを特徴としている。

本発明の操作支援装置及び操作支援方法によれば、プレイヤが使用開始前に余計な操作をすることなく、操作ガイドアプリの使用開始時からプレイヤの習熟度に応じた動的な操作支援を提供することができる。
したがって、従来の操作履歴に基づく操作支援装置や操作支援方法を使用した場合と比較して、操作支援開始までの準備を少なくすることができる。

また、本発明の操作支援装置および操作支援方法によれば、プレイヤの習熟度や習熟意欲と関係の深いプレイヤの操作状況や周辺状況を取得して、即座にプレイヤの習熟度や習得意欲を推測することにより、動的に操作の説明方法や練習回数や速度を変えて提供することでプレイヤを支援することができる。
その結果、シニアなどタッチパネルにおけるタッチデバイス操作に不慣れで、操作中に周辺の環境や精神面の変化の影響を受けやすい人達に、スマートフォン操作などの操作ガイドアプリを提供する際に、習熟度や習得意欲が異なる各プレイヤに適した適正な操作ガイドアプリを提供することができる。

更に、本発明の操作支援装置および操作支援方法によれば、操作支援装置に付属の入力装置（タッチパネル）や認識装置（センサやマイクロホンやカメラ）だけを使ってプレイヤの操作状況や周辺状況を広く取得し、プレイヤの操作の習熟度や習熟意欲を推測することができる。
したがって、プレイヤが操作支援装置を携帯していれば、どこにいても手軽にプレイヤに適した操作支援を行うことができる。

本発明の実施形態の一例である操作支援装置の機能構成の一例を示すブロック図である。 本発明の操作支援装置の全体の処理手順を示すフローチャートである。 本発明の操作支援装置の操作ガイド読取部における処理手順を示すフローチャートである。 本発明の操作支援装置の操作ガイド実行部における処理手順を示すフローチャートである。 本発明の操作支援装置の操作状況受付部における処理手順を示すフローチャートである。 本発明の操作支援装置の操作状況解析部における処理手順の一部を示すフローチャートである。 本発明の操作支援装置の操作状況解析部における処理手順の一部を示すフローチャートである。 本発明の操作支援装置の操作支援方法決定部における処理手順の一部を示すフローチャートである。 本発明の操作支援装置の操作支援方法決定部における処理手順の一部を示すフローチャートである。 本発明の操作支援装置の操作ガイドパラメタ決定部における処理手順を示すフローチャートである。 本発明の操作支援装置の習熟度判定部における処理手順を示すフローチャートである。

本発明の実施形態の一例としての操作支援装置について、図１を参照しながら説明する。
操作支援装置１０は、タッチパネルなど操作を行うための表示部を備えた情報処理装置等の各種装置に内蔵され、各種装置の操作を説明するために表示部に表示される操作ガイドアプリの操作支援を行うものである。
操作支援装置１０が適用される各種装置は、スマートフォン、タブレット端末、携帯型音楽再生機、携帯型ゲーム機などの情報処理装置や、プリンター、電子レンジや冷蔵庫など、操作説明を表示するための表示部を備えた機器である。

操作支援装置１０をスマートフォン（情報処理装置）に適用した例について説明する。
情報処理装置はタッチパネルを採用し、本発明の操作支援装置１０を内蔵している。操作支援装置１０は、表示部に表示する操作ガイドをプレイヤの操作状況に基づいて支援する制御部１１と、プレイヤによる操作が行われる入力装置としてのＵＩ部１２と、プレイヤの操作時における周辺状況を検知する認識部１３と、操作履歴などを記録する記憶部１４とを備えて構成されている。

制御部１１はCPU（Central Processing Unit）、ROM(Read Only Memory)およびRAM(Random Access Memory)を備えるマイクロコンピュータで構成されている。CPUはROMや記憶部1４に記憶された操作支援プログラムをRAMに読み出して実行することにより、操作支援装置１０の各部を制御する。

制御部１１は操作支援プログラムを実行することにより、操作ガイド読取部１１１、操作ガイド実行部１１２、操作状況受付部１１３、操作状況解析部１１４、操作支援方法決定部１１５、操作ガイドパラメタ決定部１１６、習熟度判定部１１７に相当する機能を提供する。

ＵＩ部１２は、GUI（Graphical User Interface）を提供し、表示面に画像を表示させる表示画面（表示部）１２１と、表示画面に重ねて設けられプレイヤに操作されるタッチパネル（操作部）１２２とを備える。ＵＩ部１２は、プレイヤによりタッチパネル１２２が操作されることで、プレイヤの操作状況を検出できる。

認識部１３は、プレイヤが情報処理装置を操作する場合の周辺状況を検知するため、スマートフォン（情報処理装置）を動かした場合の加速度を検知する加速度センサ１３１、表示画面１２１から離れた位置でのプレイヤのジェスチャ操作を検知する近接センサ１３２、プレイヤの受話音声等を収音するマイクロホン１３３、プレイヤの視線等を検知するカメラ１３４を備える。認識部１３は、これら全部を必要とするものではなく、１つ又は複数の組み合わせであってもよい。

記憶部１４は、例えばEPROMを備え、各種アプリケーションプログラムの他、操作ガイドアプリが記憶されたオリジナル操作ガイド記憶部１４１と、実行する操作ガイドアプリのパラメタを記憶する実行用操作ガイドパラメタ記憶部１４２と、プレイヤによる過去の操作履歴を記憶する操作履歴記憶部１４３と、プレイヤによる過去の操作習熟度判定を記録する操作習熟度判定記憶部１４４と、プレイヤに対して過去に決定された操作支援方法を記録する操作支援方法決定記憶部１４５と、各操作支援方法に対する操作ガイドパラメタ決定情報が記憶された操作ガイドパラメタ決定記憶部１４６と、プレイヤの過去の操作習熟度が記録された習熟度記憶部１４７を備えて構成されている。

次に、制御部１１についての詳細な構成を説明する。
操作ガイド読取部１１１は、プレイヤによるタッチパネル１２２の操作や、認識部１３のマイクロホン１３３による音声を使って選択した操作ガイドアプリをオリジナル操作ガイド記憶部１４１から読取り、操作ガイドアプリと共に読み込んだ操作用パラメタを実行用操作ガイドパラメタ記憶部１４２に記憶する。

操作ガイド実行部１１２は、操作ガイド読取部１１１が読み込んだ操作ガイドアプリを、実行用操作ガイドパラメタ記憶部1４２内の操作ガイドパラメタを適応させながら、表示画面１２１に提供して実行する。
すなわち、操作ガイド実行部１１２は、実行用操作ガイドパラメタ記憶部１４２の操作ガイドパラメタ情報を参照して、操作ガイドアプリを実行する。

操作ガイド実行部１１２は、プレイヤに操作内容を理解させるため、表示画面１２１に操作説明を表示する説明画面を提示する操作ガイドアプリを実行してもよい。
また、操作ガイド実行部１１２は、表示画面１２１に操作説明を表示する説明画面と、表示画面１２１に操作練習を表示する操作画面とを交互に提示することにより、プレイヤに対して複数の関連操作が提供される操作ガイドアプリを実行してもよい。
これらの場合において、操作ガイド実行部１１２は、直前のプレイヤの操作状況又は周辺状況に応じて操作説明や操作練習における指導方法や指導レベルを変化させた操作ガイドアプリを実行するようにしてもよい。

操作ガイド実行部１１２は、プレイヤによって期待されるリアクションに従った操作が行われなかった操作状況に対して、後続の操作過程で、同一の操作状況に対して期待されるリアクションに従った操作が行われた場合は、実行していた操作支援を解除する操作ガイドアプリを実行してもよい。

操作ガイド実行部１１２は、プレイヤの操作状況や周辺状況から状況に適した操作支援方法が複数存在する場合は、いずれかを選択して適応する。すなわち、後述する操作支援方法決定部１１５が複数の操作支援方法を同時に取得した場合、後続の操作練習にいずれかの操作支援方法を適応させる操作ガイドアプリを実行してもよい。

操作ガイド実行部１１２は、プレイヤの期待されるリアクションが期待よりも遅れて発生する場合、その後の操作練習の開始時期や速度をプレイヤの習熟度や習得意欲に応じて遅らせる操作ガイドアプリを実行してもよい。

操作ガイド実行部１１２は、前記した操作説明時や操作練習時におけるプレイヤの操作状況から習熟度や習熟意欲を推測し、操作支援方法を決定する１つ以上の操作ガイドアプリを実行する。

操作状況受付部１１３は、タッチパネル１２２や加速度センサ１３１や近隣センサ１３２やマイクロホン１３３やカメラ１３４から、プレイヤの操作状況や操作支援装置１０の周辺状況を受け取り、操作状況解析部１１４に提供すると共に操作履歴記憶部１４３に記憶する。ここで、操作状況受付部１１３が受け付ける周辺状況について説明する。

操作状況受付部１１３は、タッチパネル１２２から受け付けた、タッチパネル１２２に物体が接触していることを示す信号を、操作履歴記憶部１４３に記憶すると共に操作状況解析部１１４に提供する。

操作状況受付部１１３は、加速度センサ１３１から受けつけた、操作支援装置１０が傾いたり回転したりしていることを示す信号を、操作履歴記憶部１４３に記憶すると共に操作状況解析部１１４に提供する。

操作状況受付部１１３は、近隣センサ１３２から受け付けた、タッチパネル１２２の上方でジェスチャ操作が行われていることを示す信号を、操作履歴記憶部１４３に記憶すると共に操作状況解析部１１４に提供する。

操作状況受付部１１３は、定期的に、マイクロホン１３３が受け付けた操作支援装置１０の周辺の音声を表す信号を、操作履歴記憶部１４３に記憶すると共に操作状況解析部１１４に提供する。

操作状況受付部１１３は、定期的に、カメラ１３４が受け付けたプレイヤの視線を表す信号を、操作履歴記憶部１４３に記憶すると共に操作状況解析部１１４に提供する。

また、操作状況受付部１１３は、臭気センサ、温度センサ、湿度センサを用いて、操作支援装置１０の周辺の臭いや温度や湿度を検知して操作状況解析部１１４に提供することで、操作中のプレイヤにおける精神状態に影響を及ぼしやすい周囲状況を検出することができる。

操作状況受付部１１３は、プレイヤに対して操作の開始指示を出した後に一定時間を経過しても、タッチパネル１２２や認識部１３から、プレイヤの期待される操作を表す信号を受けとらなかった場合は、操作履歴記憶部１４３に記憶すると共に操作状況解析部１１４に提供する。

操作状況解析部１１４は、操作状況受付部１１３から受け取った、プレイヤの操作状況や操作支援装置１０の周辺状況を示す信号に基づいて、操作履歴記憶部１４３や操作習熟度判定記憶部１４４や習熟度記憶部１４７の情報を参照してプレイヤの習熟度や習熟意欲を推測し、プレイヤが操作に躓かないように支援ができると判断した場合は、推測した習熟度や習熟意欲を操作支援方法決定部１１５に伝える。
ここで、操作状況解析部１１４が推測する習熟度や習熟意欲の判断手法について説明する。

操作状況解析部１１４が、操作ガイドアプリの提示中にタッチパネル１２２への何らかの期待に反する接触動作を受け取った場合は、操作ガイドアプリ視聴時（操作説明時）には、プレイヤが操作説明ガイドの指示に従わずに、無駄に操作の説明中にタッチパネルを触ったり、表示画面上のボタンを押したりしており、操作説明ガイドの説明に従って表示画面を見ていられない習熟度の低いプレイヤ（プレイヤＰ１）であると判断して、操作支援方法決定部１１５に伝える。
また、操作練習中に受け取った場合は、操作ガイドアプリの事前の説明や表示中の説明を視聴していなかったり、視聴していたとしても理解ができない習熟度の低いプレイヤ（プレイヤＰ２）であると判断して、操作支援方法決定部１１５に伝える。
ここにおいて、期待に反する操作とは、説明視聴中に発生した全操作や、操作練習中に発生した、事前の説明や練習中に画面に提示される説明に反した操作を意味する。

また、推測の手段として、操作履歴記憶部１４３や習熟度記憶部１４７の情報を利用してもよい。操作履歴記憶部１４３の情報から、過去にも操作ガイドアプリの説明中にタッチパネル１２２を無駄に触る操作を繰り返していたり、習熟度記憶部１４７の情報から過去の操作ガイドアプリの操作成績が低かったりした場合は、プレイヤの習熟度の低さについての確実度が増す。

一方、過去において、操作ガイドアプリの説明中にタッチパネルを無駄に触る操作を実施した回数が少ない場合や、過去のガイドアプリの操作結果が優れている場合は、タッチパネル１２２への接触操作はプレイヤの誤操作と判断して、推測結果を操作支援方法決定部１１５へは伝えない。

操作状況解析部１１４が、操作ガイドアプリを提示中の操作支援装置１０の期待に反する傾きや回転を受け付けた場合は、プレイヤが表示画面１２１以外を注目していると推測して、受け付けた傾きや回転の向きや大きさから、プレイヤが注目している操作支援装置１０の背面や側面の機能を特定する。特定できた機能が、操作ガイドアプリが説明中の内容と一致した場合は、該当する特定機能に関心が高く学習意欲も高いプレイヤ（プレイヤＰ３）であると判断して、操作支援方法決定部１１５に伝える。
ここにおいて、期待に反する操作とは、説明視聴中に発生した全操作や、操作練習中に発しした、事前の説明や練習中に画面に提示される説明に反した操作を意味する。

一方、特定した機能が、操作ガイドアプリで説明している内容と異なる場合は、プレイヤが操作ガイドアプリの説明を無視して勝手なことをしている、習熟意欲に乏しいプレイヤ（プレイヤＰ７）であると判断して、操作支援方法決定部１１５に伝える。

操作状況解析部１１４が、操作ガイドアプリの提示中にタッチパネル１２２の上方で行われた期待に反するジェスチャ操作についての信号を受け取り、受け取ったジェスチャ操作がガイドの説明内容と一致した場合は、操作に自信がなく念入りな練習を希望するプレイヤ（プレイヤＰ４）が、タッチパネル１２２の上方で実際に操作をする前にイメージトレーニングを行ったと判断して、操作支援方法決定部１１５に伝える。
ここにおいて、期待に反する操作とは、説明視聴中に発生した全操作や、操作練習中に発生した、事前の説明や練習中に画面に提示される説明に反した操作を意味する。

受け取ったジェスチャ操作の軌跡がガイドの操作内容と一致するか否かについては、例えば、受け取ったジェスチャや想定される操作の軌跡の面積や特徴点を解析結果と共に操作習熟度判定記憶部１４４に記憶して後の判定に用いてもよい。

一方、受け取ったジェスチャ操作と操作ガイドアプリの操作内容が一致しない場合は、操作ガイドアプリの説明を無視して勝手なことをしている習熟意欲に乏しいプレイヤ（プレイヤＰ７）であると判断して、操作支援方法決定部１１５に伝える。

操作状況解析部１１４が、期待に反するプレイヤの音声を受け取った場合は、操作ガイドアプリの内容に戸惑っているプレイヤ（プレイヤＰ５）であると判断して、操作支援方法決定部１１５に伝える。
ここにおいて、期待に反するプレイヤの音声とは、説明視聴中に発生した全音声や、操作練習中の、事前の説明や練習中に画面に提示された説明に反した音声を意味する。

上述した解析では、音声認識ソフトを利用してプレイヤの発する言葉を認識し、認識した言葉からプレイヤの気持ちを推測することにより推測精度を向上させる。音声認識ソフトを使用する際は、プレイヤや状況ごとに発する言葉を収集し、データベース化をして操作習熟度判定記憶部１４４に保存して後の判定に使用してもよい。

操作状況解析部１１４が、操作支援装置の周辺の音声を定期的に取得し、周辺の音声からプレイヤの音声を取り除いた音声（＝周辺の騒音）と操作支援ガイドの音声とを比較し、操作習熟度判定記憶部１４４に記憶した閾値より大きい場合は、周辺の騒音が大きすぎるために操作ガイドアプリの音声が聞き取りにくいかもしれないプレイヤ（プレイヤＰ６）であると判断して、操作支援方法決定部１１５に伝える。

プレイヤの特性と騒音の大きさ、および操作の正確度を、データベース化して操作習熟度判定記憶部１４４に保存し、閾値の精度更新に利用してもよい。

操作状況解析部１１４が、定期的に受け付けるプレイヤの視線信号から視線の方向を計算し、プレイヤが表示画面１２１の方向を向いていないと推測した場合は、操作ガイドアプリの説明を無視して勝手なことをしている習熟意欲に乏しいプレイヤ（プレイヤＰ７）と判断して操作支援方法決定部１１５に伝える。

プレイヤの視線の方向を操作習熟度判定記憶部１４４にデータベース化し、プレイヤが表示画面１２１を見ていることを判断するための閾値の精度更新に利用してもよい。

操作状況解析部１１４が、プレイヤに操作を指示した後に一定時間が経過しても、期待するプレイヤのリアクションを受け取れなかった場合は、操作ガイドアプリの開始指示に従うことができないほど自信がなかったり習熟度の低かったりするプレイヤ（プレイヤＰ８）である可能性が高いとして、操作支援方法決定部１１５に伝える。

一方、操作状況解析部１１４が、プレイヤに操作を指示した後の一定時間内に、期待するプレイアのリアクションを受け取れた場合は、操作ガイドアプリの説明通りに操作ができるプレイヤ（プレイヤＰ９）として、操作支援方法決定部１１５に伝える。

操作状況解析部１１４で、プレイヤＰ１からプレイヤＰ９までに分類されなかったプレイヤは操作支援の対象ではないプレイヤ（プレイヤＰ１０）と判断され、操作支援方法決定部１１５には伝えられない。

上述した解析においては、プレイヤの特性と、指示が出てから操作を開始するまでの時間や操作支援方法をデータベース化して操作習熟度判定記憶部１４４に保存し、待機時間や操作支援方法の精度更新に利用してもよい。

操作支援方法決定部１１５は、操作状況解析部１１４から、操作に躓きそうなプレイヤを支援できる状況にあるという信号を受け取った場合は、操作支援方法決定記憶部１４５を参照してプレイヤの習熟度や習熟意欲に応じた操作支援方法を決定し、操作ガイドパラメタ決定部１１６に伝える。
また、操作支援方法決定部１１５は、同一プレイヤや他の同程度の習熟度や習熟意欲のプレイヤの過去や異なる操作ガイドアプリの操作成績を参考にして、習熟度や習熟意欲を推測するようにしてもよい。

次に、操作支援方法決定部１１５が決定する操作支援方法についてそれぞれ説明する。
操作支援方法決定部１１５が、操作状況解析部１１４から、操作説明ガイドの説明に従って表示画面を見ていられない習熟度の低いプレイヤ（プレイヤＰ１）であるという信号を受け取った場合は、操作ガイドアプリの操作指示方法を、本来ならば包括的な説明方法が適した場合であっても、ワンステップ毎の説明方法に切り替えるように操作ガイドパラメタ決定部１１６に伝える。

操作支援方法決定部１１５が、操作状況解析部１１４から、操作説明ガイドの説明に従って表示画面を見ていられない習熟度の低いプレイヤ（プレイヤＰ２）であるという信号を受け取った場合は、操作ガイドアプリの操作指示方法を、本来ならば包括的な説明方法が適した場合であっても、ワンステップ毎の説明方法に切り替えたり、操作の間違いをすぐに指示したりするように操作ガイドパラメタ決定部１１６に伝える。

操作支援方法決定部１１５が、特定機能に関心が高く習熟意欲も高いプレイヤ（プレイヤＰ３）であるという信号を受け取った場合は、オリジナルの操作ガイドアプリの進捗を一時停止して、該当機能についての説明を繰り返したり、詳細な説明を追加したりすることにより、プレイヤの習熟意欲を満たすように操作ガイドパラメタ決定部１１６に伝える。

上述した操作ガイドパラメタ決定部１１６では、操作状況解析部１１４が、プレイヤの関心が、操作支援装置１０の背面や側面にある機能から、表示画面１２１に戻ったことを示す信号を受け取ったことを把握した場合は、操作支援方法決定部１１５が、表示画面１２１で実施している背面や側面の機能についての説明を終了して、表示画面１２１でオリジナル操作ガイドアプリの提供を再開するように伝える。

操作支援方法決定部１１５が、操作状況解析部１１４から、操作に自信がなく念入りな学習を希望するプレイヤ（プレイヤＰ４）であるという信号を受け取った場合は、操作学習の回数をふやしたり、操作スピードを遅くしたりするように操作ガイドパラメタ決定部１１６に伝える。

操作支援方法決定部１１５が、操作状況解析部１１４から、操作ガイドアプリの内容に戸惑っているかもしれないプレイヤ（プレイヤＰ５）であるという信号を受け取った場合は、操作ガイドアプリの進捗内容と一致したショートヘルプ機能を表示画面１２１に提示するように操作ガイドパラメタ決定部１１６に伝える。

操作支援方法決定部１１５が、操作状況解析部１１４から、操作ガイドアプリの音声が聞き取りにくいプレイヤ（プレイヤＰ６）であるという信号を受け取った場合は、操作ガイドアプリの操作音声を大きくしたり、イヤホンを使用したり、操作ガイドアプリの説明をテキスト主体にするように、といった提案を表示画面１２１に提示するように操作ガイドパラメタ決定部１１６に伝える。

操作支援方法決定部１１５が、操作状況解析部１１４から、操作ガイドアプリの説明を無視して勝手なことをしている習得意欲に乏しいプレイヤ（プレイヤＰ７）である、という信号を受け取った場合は、「操作ガイドアプリの説明に集中して下さい」といったメッセージを表示画面１２１に提示し、一定時間が経過してもプレイヤが従わなかった場合は、プレイヤがガイドアプリの説明に集中する準備ができるまで操作ガイドアプリを停止させるように、操作ガイドパラメタ決定部１１６に伝える。

操作支援方法決定部１１５が、操作状況解析部１１４から、操作ガイドアプリの開始指示に従えないほど自信がなかったり習熟度の低かったりするプレイヤ（プレイヤＰ８）であるという信号を受け取った場合は、プレイヤが操作を開始するまで指示を出し続けたり、繰り返して出したり、テキストだけでなく音声などを使ってもっとインパクトの大きな指示を出すように、操作ガイドパラメタ決定部１１６に伝える。さらに、プレイヤの遅れや習熟度に応じて操作ガイドアプリの進捗スピードを遅らせるように操作ガイドパラメタ決定部１１６に伝える。

操作支援方法決定部１１５が、操作状況解析部１１４から、操作ガイドアプリの説明通りに操作ができるプレイヤ（プレイヤＰ９）であるという信号を受け取った場合は、プレイヤを褒めて習熟意欲を高めてもよいと、操作ガイドパラメタ決定部１１６に伝える。

操作ガイドパラメタ決定部１１６は、操作支援方法決定部１１５からプレイヤへの操作支援方法を示す信号を受け取った場合は、操作ガイドパラメタ決定記憶部１４６を参照して該当する操作ガイドパラメタを決定し、実行用操作ガイドパラメタ記憶部１４２内の値を更新する。

習熟度判定部１１７は、プレイヤが操作ガイドアプリを全て終了した後に、操作ガイドアプリ内の練習操作の成功率や実施した操作支援内容に基づき、実施した操作ガイドアプリについての総合的な習熟度を判定してプレイヤの情報とともに習熟度記憶部１４７に記憶する。

操作状況解析部１１４では、プレイヤの操作状況からプレイヤの習熟度や習得意欲を推測する際に習熟度記憶部１４７に記憶されたプレイヤの操作ガイドアプリ毎の総合的な習熟度を利用してもよい。
例えば、操作状況解析部１１４でプレイヤの操作説明中のタッチパネル１２２への押下操作の信号を受け取った場合、プレイヤが操作説明に従えない習熟度の低いプレイヤなのか、もしくはたまたま不注意や無関心のため説明に従わなかったのかを判断する場合に、習熟度記憶部１４７に記憶された、過去の同一プレイヤや他の習熟度や習得意欲が同程度のプレイヤの習熟度を参照すれば判断の確かさが増す。

次に、実施形態における操作支援装置１０の動作について、図２を参照して説明する。
ステップ１：
先ず、操作ガイド読取部１１１により、プレイヤの希望の機能の操作ガイドの読み取りが行われる。すなわち、ステップ１のフローチャートである図３に示すように、タッチパネル１２２（ＵＩ部１２）やマイクロホン１３３（認識装置１３）を使用してプレイヤから学習希望のガイドアプリの指定を受け（Ｓ１１）、操作支援装置１０の操作ガイド読取部１１１がプレイヤの選択した操作ガイドアプリをオリジナル操作ガイド記憶部１４１から読みとると共に、操作ガイドアプリの実行のための操作パラメタの初期値を実行用操作ガイドパラメタ記憶部１４２に記憶する（Ｓ１２）。

続いて、操作ガイドアプリが未終了であるか否かを判断し、未終了である場合にはステップ２へ進む。操作ガイドアプリが終了している場合は、後述するステップ７に進む。

ステップ２：
操作ガイド実行部１１２により、オリジナル操作ガイド記憶部１４１から読み取った操作ガイドアプリを実行する。すなわち、ステップ２のフローチャートである図４に示すように、操作ガイド実行部１１２は実行用操作ガイドパラメタ記憶部１４２に記憶した操作ガイドパラメタの内容に従って、操作ガイドアプリを表示画面１２１上で実施する（Ｓ２１）。

ステップ３：
操作状況受付部１１３により、タッチパネル（入力装置）１２２や、認識装置１３からプレイヤの操作状況や周辺状況を受け付ける。すなわち、ステップ３のフローチャートである図５に示すように、操作状況受付部１１３は、操作ガイドアプリが始まると、プレイヤの操作状況や操作支援装置１０の周辺状況を示す信号を、タッチパネル１２２や加速度センサ１３１や近隣センサ１３２やマイクロホン１３３やカメラ１３４から受け取り（Ｓ３１）、操作履歴記憶部１４３に記憶する（Ｓ３２）と共に、操作状況解析部１１４に送る。
認識装置１３として、臭気センサ、温度センサ、湿度センサなどを設置した場合は、これらのセンサが検知した周辺状況の情報も操作状況解析部１１４に送られる。

ステップ４：
次に、操作状況解析部１１４は、操作状況受付部１１３から受けとったプレイヤの操作状況や周辺状況から、操作履歴記憶部１４３や操作習熟度判定記憶部１４４や習熟度記憶部１４７を参照して、プレイヤの習熟度や習熟意欲を推測する。さらに、操作に躓きそうなプレイヤを動的に支援できる状況にあると判断した場合は、プレイヤの習熟度や習熟意欲を示す信号を操作支援方法決定部１１５に送る。

操作状況解析部１１４において、受け取った操作信号からプレイヤの習熟度や取得意欲を推測して、プレイヤが操作支援の対象になるか否かを判断する詳細手順について、図６及び図７のフローチャートを参照して説明する。

受け取った信号が期待に反する画面を触れる操作か否かを判断する（Ｓ４０１）。
期待に反する画面を触れる操作である場合、説明視聴中か否かを判断する（Ｓ４０２）。
説明視聴中の場合、操作ガイドアプリの説明に従って表示画面を見ていられない習熟度の低いプレイヤ（Ｐ１）と判断する（Ｓ４０３）。
また、説明視聴中でない場合、操作ガイドアプリの説明の視聴や理解ができず、指示通りに操作ができない習熟度の低いプレイヤ（Ｐ２）と判断する（Ｓ４０４）。

Ｓ４０１で期待に反する画面を触れる操作でない場合、受け取った信号が期待に反する傾きや回転操作か否かを判断する（Ｓ４０５）。
期待に反する傾きや回転操作である場合、スマートフォン（操作装置）に関して、傾きや回転からプレイヤが注目する背面や側面の機能を特定する（Ｓ４０６）。そして、機能が特定できた場合（Ｓ４０７）、操作ガイドアプリで取り扱っている機能と一致しているか否かを判断し（Ｓ４０８）、取り扱っている機能であれば、特定機能に関心が高く学習意欲も高いプレイヤ（Ｐ３）と判断する（Ｓ４０９）
Ｓ４０７において機能が特定できない場合、又は、Ｓ４０８において操作ガイドアプリで取り扱っている機能と一致しない場合は、操作ガイドアプリの説明を無視して勝手なことをしている習熟意欲の乏しいプレイヤ（Ｐ７）と判断する（Ｓ４１０）。

Ｓ４０５において、期待に反する傾きや回転操作でない場合、受け取った信号がタッチパネルの上方で行われた、期待に反するジェスチャ操作か否かを判断する（Ｓ４１１）。
期待に反するジェスチャ操作である場合、ジェスチャの内容を認識し（Ｓ４１２）、操作ガイドアプリで取り扱っている操作内容と一致しているか否かを判断し（Ｓ４１３）、操作内容が一致していれば、操作に自信がなく念入りな練習を希望するプレイヤ（Ｐ４）と判断する（Ｓ４１４）。
Ｓ４１３において、操作ガイドアプリで取り扱っている操作内容と一致していない場合、操作ガイドアプリの説明を無視して勝手なことをしている習熟意欲の乏しいプレイヤ（Ｐ７）と判断する（Ｓ４１５）。

Ｓ４１１において、タッチパネルの上方で行われた、期待に反するジェスチャ操作でない場合、受け取った信号がスマートフォン（操作装置）周辺の音声であるか否かを判断する（Ｓ４１６）。
スマートフォン（操作装置）周辺の音声である場合、プレイヤの音声と操作ガイドアプリの音声と周辺の騒音を分離し（Ｓ４１７）、期待に反するプレイヤの音声が有るか否かを判断し（Ｓ４１８）、音声が有る場合はプレイヤの音声の音声認識を行い（Ｓ４１９）、戸惑いを表す言葉が有るか否かを判断し（Ｓ４２０）、戸惑いを表す言葉がある場合は、操作ガイドアプリの内容に戸惑っているプレイヤ（Ｐ５）と判断する（Ｓ４２１）。
また、戸惑いを表す言葉がない場合は、操作ガイドアプリの内容に戸惑っているかもしれないプレイヤ（Ｐ５）と判断する（Ｓ４２２）。
更に、周辺の騒音が操作ガイドアプリの音声より著しく大きいか否かを判断し（Ｓ４２３）、著しく大きい場合は、操作ガイドアプリの音声が聞き取りにくいかもしれないプレイヤ（Ｐ６）と判断する（Ｓ４２４）。

Ｓ４１６において、受け取った信号がスマートフォン（操作装置）周辺の音声でない場合、受け取った信号が操作者（プレイヤ）の視線であるか否かを判断する（Ｓ４２５）。
Ｓ４１６において、受け取った信号が視線である場合、視線推定を行い（Ｓ４２６）、視線の方向が表示画面外であるか否かを判断する（Ｓ４２７）。視線の方向が表示画面外である場合、操作ガイドアプリの説明を無視して勝手なことをしている習熟意欲の乏しいプレイヤ（Ｐ７）と判断する（Ｓ４２８）。
視線の方向が表示画面外でない場合、操作支援の対象でないプレイヤ（Ｐ１０）と判断する（Ｓ４２９）。

Ｓ４２５において、受け取った信号が操作者（プレイヤ）の視線でない場合、操作指示後一定時間がたっても操作が始まらないか否かを判断する（Ｓ４３０）。
操作が始まらない場合、操作ガイドアプリの開始指示に従えないほど自信がなかったり、習熟度の低かったりするプレイヤ（Ｐ８）と判断する（Ｓ４３１）。
操作が始まる場合、操作ガイドアプリの説明通りに操作ができるプレイヤ（Ｐ９）と判断する（Ｓ４３２）。

Ｓ４０３、Ｓ４０４、Ｓ４０９、Ｓ４１０、Ｓ４１４、Ｓ４１５、Ｓ４２１，Ｓ４２２，Ｓ４２４、Ｓ４２８、Ｓ４２９、Ｓ４３１、Ｓ４３２で、操作状況及び周辺状況からプレイヤの分類（Ｐ１〜Ｐ１０）が行われた場合や、Ｓ４２３において周辺の騒音が操作ガイドアプリの音声より著しく大きくない場合、操作支援の対象であるプレイヤについての信号を操作支援方法決定部１１５に伝える（Ｓ４３３）。このステップ４３３においては、複数のプレイヤについての信号を伝える場合もある（例えば、Ｐ５とＰ６）。

ステップ５：
次に、操作支援方法決定部１１５は、操作状況解析部１１４から取得したプレイヤの習熟度や習熟意欲を、操作支援方法決定記憶部１４５の記録と対応させてプレイヤへの操作支援方法を決定し、操作ガイドパラメタ決定部１１６に送る。

操作状況解析部１１４において、取得したプレイヤの習熟度や取得意欲から、プレイヤに対する操作支援方法を決定する詳細手順について、図８及び図９のフローチャートを参照して説明する。

先ず、操作ガイドアプリの説明に従って表示画面を見ていられない習熟度の低いプレイヤ（Ｐ１）であるか否かを判断する（Ｓ５０１）。プレイヤがＰ１である場合、操作の進め方をワンステップずつにする操作支援とする（Ｓ５０２）。

Ｓ５０１において、プレイヤがＰ１でない場合、操作ガイドアプリの説明の視聴や理解ができず指示通りに操作ができない習熟度の低いプレイヤ（Ｐ２）であるか否かを判断する（Ｓ５０３）。プレイヤがＰ２である場合、操作の進め方をワンステップずつにし、操作の間違いを直ぐに指示する操作支援とする（Ｓ５０４）。

Ｓ５０３において、プレイヤがＰ２でない場合、特定機能に関心が高く学習意欲も高いプレイヤ（Ｐ３）であるか否かを判断する（Ｓ５０５）。プレイヤがＰ３である場合、該当機能に注目している間は操作ガイドを一時中止するとともに、該当機能の詳細な説明を追加する操作支援とする（Ｓ５０６）。

Ｓ５０５において、プレイヤがＰ３でない場合、操作に自信がなく念入りな練習を希望するプレイヤ（Ｐ４）であるか否かを判断する（Ｓ５０７）。プレイヤがＰ４である場合、該当操作について、練習回数を増やし、操作スピードを遅くする操作支援とする（Ｓ５０８）。

Ｓ５０７において、プレイヤがＰ４でない場合、操作ガイドアプリの内容に戸惑っている（又は戸惑っているかもしれない）プレイヤ（Ｐ５）であるか否かを判断する（Ｓ５０９）。プレイヤがＰ５である場合、該当操作について表示画面に対してショートヘルプ機能を提示する操作支援とする（Ｓ５１０）。
また、プレイヤがＰ５である場合は、図７のＳ４２３及びＳ４２４により、同時にＰ６である可能性も有しているので、Ｓ５１０で操作支援を行った後に、Ｓ５１１でＰ６であるか否かの判断が行われる。

Ｓ５０９において、プレイヤがＰ５でない場合、操作ガイドアプリの音声が聞き取りにくいかもしれないプレイヤ（Ｐ６）であるか否かを判断する（Ｓ５１１）。プレイヤがＰ６である場合、該当操作について、操作ガイド音声の拡大、イヤホンの使用、テキストベースの操作ガイドを提案する操作支援とする（Ｓ５１２）。

Ｓ５１１において、プレイヤがＰ６でない場合、操作ガイドアプリの説明を無視して勝手なことをしている習熟意欲の乏しいプレイヤ（Ｐ７）であるか否かを判断する（Ｓ５１３）。プレイヤがＰ７である場合、操作ガイドの説明に集中するようにメッセージを提示し、提示しても効果がない場合は、プレイヤが操作ガイドの説明に集中するまで操作ガイドを一時停止させる操作支援とする（Ｓ５１４）。

Ｓ５１３において、プレイヤがＰ７でない場合、操作ガイドアプリの開始指示に従えないほど自信がなかったり習熟度の低かったりするプレイヤ（Ｐ８）であるか否かを判断する（Ｓ５１５）。プレイヤがＰ８である場合、プレイヤが操作を開始するまで指示を出し続け、若しくは繰り返す、よりインパクトのある指示を出す、プレイヤの操作の遅れや習熟度に応じた操作ガイドの進捗スピードを遅らせる操作支援とする（Ｓ５１６）。

Ｓ５１５において、プレイヤがＰ８でない場合、操作ガイドアプリの説明通りに操作ができるプレイヤ（Ｐ９）であるか否かを判断する（Ｓ５１７）。プレイヤがＰ９である場合、操作ガイドの説明通りに操作ができたことを褒めて、学習意欲を高める操作支援とする（Ｓ５１８）。

操作状況解析部１１４において、Ｓ５０２、Ｓ５０４、Ｓ５０６、Ｓ５０８、Ｓ５１０、Ｓ５１２、Ｓ５１４、Ｓ５１６、Ｓ５１８の処理で操作支援方法が決定した場合、決定した操作支援内容を操作ガイドパラメタ決定部１１６に伝える（Ｓ５２０）。
プレイヤがＰ５及びＰ６の両方に該当する場合は、両方の操作支援内容を伝える。

ステップ６：
次に、操作ガイドパラメタ決定部１１６は、操作支援方法の決定によって変更した操作ガイドパラメタの値を変更する。すなわち、ステップ６のフローチャートである図１０に示すように、操作ガイドパラメタ決定部１１６は、操作支援方法決定部１１５から受け取った操作支援方法を、操作ガイドパラメタ決定記憶部１４６を参照して該当する操作ガイドパラメタに変換し（Ｓ６１）、実行用操作ガイドパラメタ記憶部１４２に記憶する。
操作ガイドパラメタ決定部１１６に、Ｐ５及びＰ６の両方の操作支援内容が伝えられた場合は、どちらかの操作支援方法に適応させるため、対応する操作ガイドパラメタの値に更新する。

上述したステップ２からステップ６までの処理は、操作ガイドアプリが終了するまで繰り返される。
操作ガイドアプリが終了した場合は、ステップ７の処理が行われる。

ステップ７：
習熟度判定部１１７は、操作ガイドアプリ全体を通しての操作の習熟度を判定し、習熟度記憶部１４７に記憶する。すなわち、ステップ７のフローチャートである図１１に示すように、プレイヤは操作ガイドアプリを全て終了した時点で、操作ガイドアプリの練習の正解率や操作ガイドアプリが提供した操作支援内容に基づき、操作ガイドアプリ毎のプレイヤによる操作の習熟度を計算し（Ｓ７１）、習熟度記憶部１４７に記憶する。

上述した操作支援装置１０によれば、タッチパネル１２２や認識装置１３から検出されたプレイヤの操作状況や周辺状況に基づいて、操作中のプレイヤに対する操作支援方法を決定し、動的に操作ガイドアプリの操作パラメタを更新することにより、プレイヤに適した操作ガイドを提供することで、プレイヤの操作支援を行うことができる。

更に、操作ガイドアプリで行われる複数の関連操作について、操作説明による視聴部分と、操作練習による行動部分を交互に提示する操作ガイドアプリを実行する操作支援装置１０である場合は、プレイヤの説明視聴時の操作状況から推測した習熟度や習熟意欲に応じて後続の操作練習時の操作支援方法を決定することで、決定した操作支援方法を後続のいずれかの操作練習に適応させることができる。

また、期待されるリアクションに従った操作が行われなかった操作状況に対して、後続の操作過程において期待されるリアクションに従った操作が行われた場合は、実施していた操作支援を解除するようにしてもよい。

したがって、操作支援装置１０は、直前のプレイヤの操作状況や周辺状況を考慮することでプレイヤの精神状態に応じて練習操作の指導方法や指導レベルを変えるため、感情が変わりやすかったり物忘れをしやすかったりする高齢者などに有効である。

また、上述した実施形態は、全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の数々の変形態様および変更態様で実施することができる。

１０…操作支援装置、 １１…制御部、 １２…ＵＩ部（入力装置）、 １３…記憶部、 １１１…操作ガイド読取部、 １１２…操作ガイド実行部、 １１３…操作状況受付部、 １１４…操作状況解析部、 １１５…操作支援方法決定部、 １１６…操作ガイドパラメタ決定部、 １１７…習熟度判定部、 １２１…表示画面、 １２２…タッチパネル、 １３１…加速度センサ、 １３２…近隣センサ、 １３３…マイクロホン、 １３４…カメラ、 １４１…オリジナル操作ガイド記憶部、 １４２…実行用操作ガイドパラメタ記憶部、 １４３…操作履歴記憶部、 １４４…操作習熟度判定記憶部、 １４５…操作支援方法決定記憶部、 １４６…操作ガイドパラメタ決定記憶部、 １４７…習熟度記憶部。

Claims (20)

1. 表示画面を有する入力装置を備え、プレイヤによる操作ガイドアプリの操作状況を前記入力装置から取得するとともに、プレイヤの操作時における操作状況を検知する認識装置を備えることでプレイヤによる操作を動的に支援する操作支援装置であって、
   前記表示画面で前記操作ガイドアプリを実行する操作ガイド実行部と、
   前記表示画面におけるプレイヤの操作状況を前記入力装置で受け付けるとともに、 前記認識装置によるプレイヤの操作時における操作状況を受け付ける操作状況受付部と、
   前記操作状況受付部によって受け付けたプレイヤの操作状況が期待するリアクションに合致しているか否かを判断することによってプレイヤの習熟度や習得意欲を推測する操作状況解析部と、
   前記操作状況解析部で推測したプレイヤの習熟度や習得意欲に応じて、プレイヤに適した操作支援方法を決定する操作支援方法決定部と、
   前記操作支援方法決定部で決定した操作支援方法に基づいて前記操作ガイドアプリの操作ガイドパラメタを更新する操作ガイドパラメタ決定部とを備える一方、
   前記操作状況受付部は、プレイヤによる操作支援装置の回転操作や傾け操作の角度や速度の操作状況の受け付けを含むことを特徴とする操作支援装置。
2. 前記入力装置の表示画面をタッチパネルで構成し、
   前記操作状況受付部は、プレイヤによる接触操作による前記タッチパネルの押下操作を検出する
   請求項１に記載の操作支援装置。
3. 前記認識装置は、プレイヤの操作時における周辺状況の検知を含み、
   前記操作状況受付部は、
   プレイヤの音声以外の操作支援装置の周辺の音声、
   操作支援装置の周辺の臭いや温度や湿度、
   のいずれか又は複数の周辺状況を受け付け、
   前記操作状況解析部は、
   前記操作状況及び前記周辺状況からプレイヤの習熟度や習得意欲を推測する
   請求項１に記載の操作支援装置。
4. 前記入力装置や前記認識装置が受けつけた操作ガイドアプリの操作状況や周辺状況と、前記期待されるリアクションや前記習熟度や前記習熟意欲とが対応付けされた操作習熟度判定情報を記憶する操作習熟度判定記憶部を含み、
   前記操作状況解析部は、前記操作習熟度判定情報を参照して受け付けた操作状況が前記期待されるリアクションに合致しているか否かを判断することで、習熟度や習得意欲を判定する
   請求項３に記載の操作支援装置。
5. 前記習熟度や前記習得意欲と、前記操作支援方法とが対応付けされた操作支援方法決定情報を記憶する操作支援方法記憶部を含み、
   前記操作支援方法決定部は、前記操作支援方法決定情報を参照して前記操作支援方法を決定する
   請求項１から請求項４のいずれかに記載の操作支援装置。
6. 前記操作支援方法と前記操作ガイドパラメタとが対応付けされた操作ガイドパラメタ決定情報を記憶する操作ガイドパラメタ決定記憶部を含み、
   前記操作ガイドパラメタ決定記憶部は、前記操作ガイドパラメタ決定情報を参照して前記操作ガイドパラメタを決定して実行用操作ガイドパラメタ記憶部に記憶する
   請求項１から請求項５のいずれかに記載の操作支援装置。
7. 前記操作ガイド実行部は、前記操作ガイドパラメタを参照して、操作ガイドアプリを実行する
   請求項１から請求項６のいずれかに記載の操作支援装置。
8. 前記操作ガイド実行部は、前記表示画面に操作説明を表示する説明画面を提示する操作ガイドアプリを実行する
   請求項１から請求項７のいずれかに記載の操作支援装置。
9. 前記操作ガイド実行部は、前記表示画面に操作練習を表示する操作画面を提示する操作ガイドアプリを実行する
   請求項１から請求項７のいずれかに記載の操作支援装置。
10. 前記操作ガイド実行部は、前記表示画面に操作説明を表示する説明画面と、前記表示画面に操作練習を表示する操作画面とを交互に提示する複数の関連操作を提供し、
    前記操作支援方法決定部は、プレイヤの操作状況から推測した前記習熟度や前記習熟意欲に応じて後続の操作練習時の操作支援方法を決定し、決定した操作支援方法を後続のいずれかの操作練習の表示に適応させる
    請求項１から請求項７のいずれかに記載の操作支援装置。
11. 前記操作ガイド実行部は、
    プレイヤによって期待されるリアクションに従った操作が行われなかった操作状況に対して、後続の操作過程で、同一の操作状況に対して期待されるリアクションに従った操作が行われた場合は、実行していた操作支援を解除する
    請求項１から請求項１０のいずれかに記載の操作支援装置。
12. 前記操作ガイド実行部は、直前のプレイヤの操作状況又は周辺状況に応じて前記操作ガイドアプリの指導方法や指導レベルを変化させて実行する
    請求項１から請求項１１に記載の操作支援装置。
13. 前記操作ガイド実行部は、前記操作支援方法決定部が複数の操作支援方法を同時に取得した場合、後続の操作説明又は操作練習にいずれかの操作支援方法を適応させる
    請求項８から請求項１０のいずれかに記載の操作支援装置。
14. 前記操作支援方法決定部は、同一プレイヤや他の同程度の習熟度や習熟意欲のプレイヤの過去や異なる操作ガイドアプリの操作成績を参考にして、習熟度や習熟意欲を推測する請求項１から請求項１３に記載の操作支援装置。
15. 前記操作ガイド実行部は、プレイヤの期待されるリアクションが期待よりも遅れて発生する場合、その後の操作練習の開始時期や速度をプレイヤの習熟度や習得意欲に応じて遅らせる
    請求項９又は請求項１０に記載の操作支援装置。
16. 前記操作ガイド実行部は、前記操作説明時におけるプレイヤの操作状況から習熟度や習熟意欲を推測し、操作支援方法を決定する１つ以上の操作ガイドアプリを実行する
    請求項８から請求項１０のいずれかに記載の操作支援装置。
17. 前記操作ガイド実行部は、前記操作練習時におけるプレイヤの操作状況から習熟度や習熟意欲を推測し、操作支援方法を決定する１つ以上の操作ガイドアプリを実行する
    請求項１０に記載の操作支援装置。
18. 装置についての操作ガイドアプリを操作中のプレイヤを支援するための操作支援方法であって、
    前記装置に搭載された表示画面を有する入力装置で所定の操作ガイドパラメタを用いて操作ガイドアプリを実行する操作ガイド実行ステップと、
    前記入力装置を用いてプレイヤの操作状況を取得するとともに、プレイヤによる前記装置の回転操作や傾け操作の角度や速度の操作状況を取得する操作状況受付ステップと、
    前記操作状況受付ステップで受けつけた操作状況を解析してプレイヤの習熟度や習得意欲を推測し、プレイヤが操作に躓きそうな状態であることを検出する操作状況解析ステップと、
    前記操作状況解析ステップで取得した、操作に躓きそうな状況にあるプレイヤを支援するための操作支援方法を決定するための操作支援方法決定ステップと、
    前記操作支援方法決定ステップで検出した操作支援方法を実行中の操作ガイドアプリに即座に適応するために、前記操作ガイドアプリの操作ガイドパラメタを更新する操作ガイドパラメタ決定ステップと
    を含むことを特徴とする操作支援方法。
19. 請求項１８に記載の操作支援方法の各手順をコンピュータにより実行可能とした操作支援プログラム。
20. 請求項１から請求項１１のいずれかに記載の操作支援装置における各部を装置が備えるコンピュータ上に構築可能とした操作支援プログラム。