JP6608402B2 - Program, control method, and terminal device - Google Patents
Program, control method, and terminal device Download PDFInfo
- Publication number
- JP6608402B2 JP6608402B2 JP2017100400A JP2017100400A JP6608402B2 JP 6608402 B2 JP6608402 B2 JP 6608402B2 JP 2017100400 A JP2017100400 A JP 2017100400A JP 2017100400 A JP2017100400 A JP 2017100400A JP 6608402 B2 JP6608402 B2 JP 6608402B2
- Authority
- JP
- Japan
- Prior art keywords
- application program
- execution screen
- target object
- operation target
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、プログラム、制御方法及び端末装置に関する。 The present invention relates to a program, a control method, and a terminal device.
従来から、携帯電話機等の端末装置の操作マニュアルとして、紙媒体による操作マニュアルだけでなく、電子媒体による操作マニュアルが作成されている。電子媒体による操作マニュアルは、端末装置のメモリ等に格納され、又は、端末装置と通信可能なサーバ装置によって管理され、ユーザによる端末装置の操作に応じて、操作マニュアルは端末装置の表示装置に表示される。また、近年では、操作マニュアルを表示するだけでなく、操作方法を練習するためのアプリケーションプログラムがインストールされた端末装置が知られている。 Conventionally, as an operation manual for a terminal device such as a mobile phone, an operation manual using an electronic medium as well as an operation manual using a paper medium has been created. An operation manual using an electronic medium is stored in a memory or the like of the terminal device or managed by a server device that can communicate with the terminal device. The operation manual is displayed on the display device of the terminal device according to the operation of the terminal device by the user. Is done. In recent years, a terminal device in which an application program for practicing an operation method as well as displaying an operation manual is installed is known.
例えば、特許文献１には、子供又は高齢者等の端末装置の操作に不慣れなユーザ向けに、各種アプリケーションブログラムや設定機能等の操作を練習させるための操作練習情報を表示する携帯電話機が記載されている。この携帯電話機では、ユーザによる所定の練習キーの押下に応じて練習モードが設定された場合に操作練習情報が表示され、ユーザは操作練習情報を見ながら操作キー等の練習を行うことが可能になる。
For example,
しかしながら、近年の端末装置では、入力装置として、タッチパネル等のポインタデバイスが採用されている場合があり、このような端末装置において、ユーザによる入力装置の操作に連動した操作練習画面を表示する必要があった。また、ユーザの端末装置の操作練習中、ユーザの誤操作によって不要な通信が発生した場合、通信費用がかかることがあり、操作練習のアプリケーションに対してユーザが不信感を持つことがあった。 However, in recent terminal devices, a pointer device such as a touch panel may be employed as an input device. In such a terminal device, it is necessary to display an operation practice screen that is linked to the operation of the input device by the user. there were. In addition, when unnecessary communication occurs due to an erroneous operation of the user during the operation of the user's terminal device, communication costs may be incurred, and the user may be distrusted with the operation practice application.
本発明は、このような従来の課題を解決すべくなされたものであり、端末装置の操作に不慣れなユーザであっても簡単に操作ができる、端末装置の操作練習用のユーザインターフェースを提供することを可能とするプログラム、制御方法及び端末装置を提供することを目的とする。 The present invention has been made to solve such conventional problems, and provides a user interface for practice of operating a terminal device that can be easily operated even by a user who is unfamiliar with the operation of the terminal device. It is an object of the present invention to provide a program, a control method, and a terminal device that make it possible.
本発明に係るプログラムは、表示部、記憶部、及び、プロセッサを有し、アプリケーションプログラムを実行する端末装置に、アプリケーションプログラムの画面操作方法を説明させるためのプログラムであって、アプリケーションプログラムにおいて、所定の操作手順で操作した場合に遷移する一連の画像の情報と、一連の画像に含まれる操作対象である操作対象オブジェクトの位置及びサイズと、を記憶部に記憶し、表示部に表示されるアプリケーションプログラムに関する画像の設定表示倍率を取得し、ユーザの操作に応じて、一連の画像のうちの所定の画像を、設定表示倍率に基づいて表示部に表示し、所定の画像に含まれる操作対象オブジェクトに対応する枠画像を、設定表示倍率に基づいて変更した操作対象オブジェクトの位置及びサイズで作成し、所定の画像に重畳させるようにして表示部に表示し、ユーザからの操作対象オブジェクトの選択指示に応じて、所定の画像から、一連の画像のうちの次の画像へ切り換えを行う、ことをプロセッサに実行させる。 A program according to the present invention is a program that includes a display unit, a storage unit, and a processor, and causes a terminal device that executes the application program to explain a screen operation method of the application program. An application that stores information on a series of images that are transitioned when operated in accordance with the operation procedure and the position and size of an operation target object that is an operation target included in the series of images in a storage unit and is displayed on a display unit The setting display magnification of the image related to the program is acquired, and a predetermined image of the series of images is displayed on the display unit based on the setting display magnification according to a user operation, and the operation target object included in the predetermined image The position of the operation target object in which the frame image corresponding to is changed based on the setting display magnification The image is displayed on the display unit so as to be superimposed on a predetermined image, and is switched from the predetermined image to the next image in the series according to the selection instruction of the operation target object from the user. To cause the processor to execute.
また、本発明に係るプログラムにおいて、アプリケーションプログラムの実行画面に含まれる各操作対象オブジェクトの位置及びサイズを、所定の操作手順の順番に記憶部に記憶し、ユーザからのアプリケーションプログラムの練習指示を取得した場合、アプリケーションプログラムを実行させ、アプリケーションプログラムの実行画面に含まれる操作対象オブジェクトに対応する枠画像を実行画面に重畳して表示し、ユーザから枠画像に対応する操作対象オブジェクトの選択指示を取得した場合、当該操作対象オブジェクトに関連付けられた所定の処理を実行し、次の実行画面に含まれる操作対象オブジェクトに対応する枠画像を次の実行画面に重畳して表示し、次の実行画面に含まれる、枠画像に対応する操作対象オブジェクトに関連付けられた所定の処理が、他の装置との通信処理を含む場合、ユーザから枠画像に対応する操作対象オブジェクトの選択指示を取得しても、当該操作対象オブジェクトに関連付けられた所定の処理を実行させずに、所定の画像を表示する処理を実行することが好ましい。 In the program according to the present invention, the position and size of each operation target object included in the execution screen of the application program are stored in the storage unit in the order of a predetermined operation procedure, and a practice instruction for the application program from the user is acquired. If the application program is executed, the frame image corresponding to the operation target object included in the execution screen of the application program is displayed superimposed on the execution screen, and the operation target object selection instruction corresponding to the frame image is obtained from the user. In such a case, a predetermined process associated with the operation target object is executed, and a frame image corresponding to the operation target object included in the next execution screen is displayed superimposed on the next execution screen, and displayed on the next execution screen. Associated with the operation target object corresponding to the frame image included If the predetermined processing includes communication processing with another device, the predetermined processing associated with the operation target object is executed even if the operation target object selection instruction corresponding to the frame image is acquired from the user. It is preferable to execute a process of displaying a predetermined image without doing so.
また、本発明に係るプログラムにおいて、表示部にアプリケーションプログラムのアイコン画像を含むホーム画面が表示されている場合において、ユーザからアプリケーションプログラムのアイコン画像の提示指示を取得すると、ホーム画面の画像データを取得し、取得した画像データの中から、アプリケーションプログラムのアイコン画像の位置及びサイズを特定し、特定した位置及びサイズに対応する枠画像を、表示されているホーム画面に重畳して表示し、ユーザから枠画像に対応するアイコン画像の選択指示を取得した場合、アプリケーションプログラムの練習指示を取得する処理を実行することが好ましい。 Further, in the program according to the present invention, when the home screen including the icon image of the application program is displayed on the display unit, when the presentation instruction of the icon image of the application program is acquired from the user, the image data of the home screen is acquired. Then, the position and size of the icon image of the application program is specified from the acquired image data, and the frame image corresponding to the specified position and size is displayed superimposed on the displayed home screen, and is displayed by the user. When an instruction to select an icon image corresponding to the frame image is acquired, it is preferable to execute processing for acquiring an instruction instruction for an application program.
本発明に係る制御方法は、表示部、記憶部、及び、プロセッサを有し、アプリケーションプログラムを実行し且つアプリケーションプログラムの画面操作方法を説明する端末装置の制御方法であって、アプリケーションプログラムにおいて、所定の操作手順で操作した場合に遷移する一連の画像の情報と、一連の画像に含まれる操作対象である操作対象オブジェクトの位置及びサイズと、を記憶部に記憶し、表示部に表示されるアプリケーションプログラムに関する画像の設定表示倍率を取得し、ユーザの操作に応じて、一連の画像のうちの所定の画像を、設定表示倍率に基づいて表示部に表示し、所定の画像に含まれる操作対象オブジェクトを、設定表示倍率に基づいて操作対象オブジェクトの位置及びサイズを変更して所定の画像に重畳させるようにして表示部に表示し、ユーザからの操作対象オブジェクトの選択指示に応じて、所定の画像から、一連の画像のうちの次の画像へ切り換えを行う、ことを含む。 A control method according to the present invention is a control method for a terminal device that includes a display unit, a storage unit, and a processor, executes an application program, and explains a screen operation method of the application program. An application that stores information on a series of images that are transitioned when operated in accordance with the operation procedure and the position and size of an operation target object that is an operation target included in the series of images in a storage unit and is displayed on a display unit The setting display magnification of the image related to the program is acquired, and a predetermined image of the series of images is displayed on the display unit based on the setting display magnification according to a user operation, and the operation target object included in the predetermined image Is superimposed on a predetermined image by changing the position and size of the operation target object based on the set display magnification. It displayed on the display unit to way, in accordance with a selection instruction of the operation target object from a user, from a given image, to switch to the next image of the series of images, comprising.
本発明に係る端末装置は、アプリケーションプログラムを実行し且つアプリケーションプログラムの画面操作方法を説明する端末装置であって、表示部と、アプリケーションプログラムにおいて、所定の操作手順で操作した場合に遷移する一連の画像の情報と、一連の画像に含まれる操作対象である操作対象オブジェクトの位置及びサイズと、を記憶する記憶部と、表示部に表示されるアプリケーションプログラムに関する画像の設定表示倍率を取得する取得部と、ユーザの操作に応じて、一連の画像のうちの所定の画像を、設定表示倍率に基づいて表示部に表示し、所定の画像に含まれる操作対象オブジェクトを、設定表示倍率に基づいて操作対象オブジェクトの位置及びサイズを変更して所定の画像に重畳させるようにして表示部に表示し、ユーザからの操作対象オブジェクトの選択指示に応じて、所定の画像から、一連の画像のうちの次の画像へ切り換えを行う表示処理部と、を備える。 A terminal device according to the present invention is a terminal device that executes an application program and explains a screen operation method of the application program, and a series of transitions when operated in a predetermined operation procedure in the display unit and the application program A storage unit that stores image information and a position and size of an operation target object that is an operation target included in the series of images, and an acquisition unit that acquires a setting display magnification of an image related to an application program displayed on the display unit In response to a user operation, a predetermined image of the series of images is displayed on the display unit based on the set display magnification, and an operation target object included in the predetermined image is operated based on the set display magnification. Change the position and size of the target object and display it on the display unit so that it is superimposed on a predetermined image , In accordance with the selective operation of the operation target object from a user, comprising a predetermined image, and a display processing unit that performs switching to the next image of the series of images, a.
本発明に係るプログラム、制御方法及び端末装置によって、端末装置の操作に不慣れなユーザであっても簡単に操作可能な、端末装置の操作練習用のユーザインターフェースを提供することが可能となる。 With the program, the control method, and the terminal device according to the present invention, it is possible to provide a user interface for operating the terminal device that can be easily operated even by a user unfamiliar with the operation of the terminal device.
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。 Hereinafter, various embodiments of the present invention will be described with reference to the drawings. However, it should be noted that the technical scope of the present invention is not limited to these embodiments, and extends to the invention described in the claims and equivalents thereof.
（端末装置１の概要）
図１〜３は、本実施形態における端末装置１の概要を説明するための模式図である。
(Overview of terminal device 1)
1-3 is a schematic diagram for demonstrating the outline | summary of the
本実施形態の端末装置１は、アプリケーションプログラムがインストールされた多機能携帯電話（所謂「スマートフォン」）等であり、インストールされたアプリケーションプログラムを実行することが可能である。以降、端末装置１にインストールされたアプリケーションプログラムを、単に「アプリケーションプログラム」と称する場合がある。
The
アプリケーションプログラムは、端末装置１に特定の情報処理を実行させるための命令列であり、例えば、電子メールプログラム、ウェブブラウザプログラム、カメラ制御プログラム、電子ゲームプログラム、スケジュール管理プログラム等である。
The application program is an instruction sequence for causing the
また、端末装置１は、複数のアプリケーションプログラムのそれぞれの画面操作方法を説明するためのガイド情報を記憶する。ガイド情報は、アプリケーションプログラムの実行中における各種画面の操作方法を説明するマニュアルのデータ、又は、各種画面の操作方法を練習するためのデータ等である。なお、各種画面の操作方法を練習するためのデータは、例えば、ＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）又はＪＳＯＮ（JavaScript Object Notation）等の所定の言語で記述される。なお、ガイド情報は、アプリケーションプログラムの画面操作方法を説明するための情報であれば、画像データ、文書データ及び音声データ等のどのようなデータでもよい。
Further, the
以下、端末装置１が、アプリケーションプログラムの実行中において所定の操作手順で操作した場合に遷移する一連の画面の操作方法をユーザに練習させる場合を例にして説明する。
Hereinafter, a case will be described as an example in which the
端末装置１は、操作方法をユーザに練習させるアプリケーションの実行画面をキャプチャした画像の情報を記憶する。図１に示す例では、電子メールプログラムの実行中において所定の操作手順で操作した場合に遷移する一連の実行画面のそれぞれをキャプチャした画像の情報が端末装置１に記憶される。すなわち、電子メールプログラムの複数の実行画面の画像が、所定の操作手順の順番に従って記憶される。なお、実行画面の画像は、ガイド情報の作成者によって予め作成されたものである。
The
また、端末装置１は、記憶した一連の画像に含まれ且つ所定の操作手順における操作対象である操作対象オブジェクトの位置及びサイズを記憶する。なお、操作対象オブジェクトは、所定の処理を実行するためのボタンオブジェクト、所定の文字列を入力するためのテキストボックス、又は、他の画面に遷移するためのリンク情報が付加されたテキスト若しくは画像等である。また、操作対象オブジェクトの位置は、端末装置１の表示画面の所定位置（例えば、表示画面の上端且つ左端の位置）を原点とした２次元座標情報であり、各座標は、例えば、表示画面の表示領域の縦幅及び横幅に対する割合で示される。操作対象オブジェクトのサイズは、操作対象オブジェクトの高さ及び幅を示す値であり、例えば、表示画面の表示領域の縦幅及び横幅に対する割合で示される。
Further, the
図１に示す例では、端末装置１は、操作対象オブジェクト「送信ボタン」の位置及びサイズに対応する枠画像を作成し、当該枠画像に対応する操作対象オブジェクトを含む画像を表示するとともに、作成した枠画像を当該画像に重畳して表示する（図１の（１））。
In the example illustrated in FIG. 1, the
ユーザのタップ操作等によって、表示された画像に含まれる操作対象オブエジェクの表示領域（すなわち、枠画像内）が選択指示された場合（図１の（２））、端末装置１は、記憶した一連の画像のうちの、現在表示されている画像の次の画像を表示する（図１の（３）及び（４））。
When the display area of the operation target object included in the displayed image (that is, within the frame image) is instructed by the user's tap operation or the like ((2) in FIG. 1), the
このように、端末装置１は、アプリケーションプログラムを起動しなくても、当該アプリケーションプログラムの実行画面の操作方法をユーザに練習させることができる。これにより、操作練習中においてユーザが操作を誤っても、端末装置１は、操作方法の練習を逸脱した処理を行うことがない。このように、端末装置１は、端末装置の操作に不慣れなユーザであっても操作方法の習得に集中することができ且つ簡易なユーザインターフェースを提供することが可能となる。
As described above, the
次に、端末装置１が、表示画面に含まれる各オブジェクト（テキスト、アイコン、ボタン等）を表示する所定の表示倍率を設定している場合について説明する。以降、設定された表示倍率を設定表示倍率と称する場合がある。
Next, the case where the
図２に示す例では、設定表示倍率として「１．２倍」がユーザによって設定されている。この場合、端末装置１は、通常の表示画面２００（又は設定表示倍率「１倍」における表示画像）に含まれる各オブジェクトを「１．２倍」に拡大した表示画面２１０を表示する。
In the example shown in FIG. 2, “1.2 times” is set as the setting display magnification by the user. In this case, the
通常の表示画面２００は、第１ＯＳ（Operating System）表示領域２０１、第２ＯＳ表示領域２０２及びアプリケーション表示領域２０３によって構成される。例えば、第１ＯＳ表示領域２０１には、端末装置１のステータス情報がアイコン等によって表示される。また、第２ＯＳ表示領域２０２には、端末装置１のアプリケーションプログラムの切換え等の操作メニューがアイコン等によって表示される。また、アプリケーション表示領域２０３には、アプリケーションプログラムの実行画面が表示される。
The
拡大した表示画面２１０は、第１ＯＳ表示領域２１１、第２ＯＳ表示領域２１２及びアプリケーション表示領域２１３によって構成される。例えば、第１ＯＳ表示領域２１１及び第２ＯＳ表示領域２１２には、第１ＯＳ表示領域２０１及び第２ＯＳ表示領域２０２と同じアイコンが「１．２倍」に拡大されて表示される。また、アプリケーション表示領域２１３には、アプリケーションプログラムの実行画面が表示される。
The
図２に示すように、第１ＯＳ表示領域２１１及び第２ＯＳ表示領域２１２に含まれるアイコンは、第１ＯＳ表示領域２０１及び第２ＯＳ表示領域２０２に含まれるアイコンよりも大きく（１．２倍に）表示される。そのため、第１ＯＳ表示領域２１１及び第２ＯＳ表示領域２１２の縦方向のサイズは、第１ＯＳ表示領域２０１及び第２ＯＳ表示領域２０２よりも長い。したがって、アプリケーション表示領域２１３とアプリケーション表示領域２０３とでは、アスペクト比（縦横比）が異なる。
As shown in FIG. 2, the icons included in the first
以下、設定表示倍率に基づく表示枠の表示処理について説明する。図３に示す例では、端末装置１は、図２で説明した拡大した表示画面２１０において、アプリケーションの実行画面をキャプチャした表示画像３００を表示する。表示画像３００は、通常の表示画面２００におけるアプリケーションプログラムの実行画面をキャプチャした画像である。
The display frame display process based on the set display magnification will be described below. In the example illustrated in FIG. 3, the
端末装置１は、設定表示倍率に基づいて、表示画像３００に含まれる操作対象オブジェクト「送信ボタン」の位置及びサイズを変更する。位置の変更処理では、例えば、まず、端末装置１は、通常の表示画面２００における、操作対象オブジェクトの上端且つ左端の位置を特定する。次に、端末装置１は、特定した操作対象オブジェクトの位置に設定表示倍率に基づいて変更されたアプリケーション表示領域２０３の縦方向の縮小比率を乗じた位置を操作対象オブジェクトの相対位置として算出する。そして、端末装置１は、相対位置に表示画像３００の上端及び左端の位置を加算して、枠画像の位置を算出する。
The
また、サイズの変更処理では、端末装置１は、サイズ（高さ及び幅）に、アプリケーション表示領域２０３の縦方向の縮小比率を乗じた数値を、設定表示倍率が設定された後の枠画像のサイズとする。
Further, in the size changing process, the
例えば、操作対象オブジェクトの位置が（１０，１６０）であり、アプリケーション表示領域２０３の縦方向の縮小比率が９０％である場合、相対位置は、（１０，１６０）の９０％（アプリケーション表示領域２０３の縦方向の縮小比率）の（９，１４４）である。なお、各位置は、通常の表示画面の上端且つ左端の位置を原点（０，０）とし、縦方向（下方向）及び横方向（右方向）の座標で示される。そして、枠画像の位置は、相対位置（９，１４４）に、表示画像３００の上端及び左端の位置（０，１０）を加算した、（９，１５４）となる。また、操作対象オブジェクトのサイズが（２０，３０）であり且つアプリケーション表示領域２０３の縦方向の縮小比率が９０％である場合、枠画像のサイズは（９，２７）となる。なお、縮小比率は、上述した９０％に限定されない。例えば、縮小比率は、設定表示倍率に基づくアプリケーション表示領域２１３に、通常の表示画面２００におけるアプリケーションプログラムの実行画面をキャプチャした表示画像３００が全面表示されるように設定された比率でもよく、また、その他の比率でもよい。また、携帯端末１は、アプリケーション表示領域２１３に対して、所定の拡大比率を乗じた表示画像３００を表示してもよい。この場合、次に、端末装置１は、特定した操作対象オブジェクトの位置に所定の拡大比率を乗じた位置を操作対象オブジェクトの相対位置として算出する。そして、端末装置１は、相対位置に表示画像３００の上端及び左端の位置を加算して、枠画像の位置を算出する。また、サイズの変更処理では、端末装置１は、サイズ（高さ及び幅）に、所定の拡大比率を乗じた数値を、設定表示倍率が設定された後の枠画像のサイズとする。
For example, when the position of the operation target object is (10, 160) and the vertical reduction ratio of the
端末装置１は、算出した枠画像の位置及びサイズに基づいて、表示画像３００に重畳させるようにして枠画像を表示する。これにより、端末装置１は、設定表示倍率が設定されたとしても、表示画像３００に含まれる操作対象オブジェクトの位置及びサイズに対応する枠画像を表示することが可能になる。
The
そして、設定表示倍率に基づいて表示された画像に含まれる操作対象オブエジェクの表示領域（すなわち、枠画像内）が、ユーザのタップ操作等によって選択指示された場合、端末装置１は、記憶した一連の画像のうちの、現在表示されている画像の次の画像を設定表示倍率に基づいて表示する。
When the display area of the operation target object included in the image displayed based on the set display magnification (that is, within the frame image) is instructed to be selected by the user's tap operation or the like, the
上述のとおり、端末装置１では、表示される画像に設定表示倍率が設定されていても、表示される画像の操作対象オブジェクトに対応する枠画像をユーザに案内することが可能となる。したがって、端末装置１によって、端末装置の操作に不慣れなユーザであっても簡単に操作可能な、端末装置の操作練習用のユーザインターフェースを提供することが可能となる。
As described above, the
なお、上述した図１〜３の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明及び本明細書の開示範囲に含まれる。 The description of FIGS. 1 to 3 described above is merely an explanation for deepening the understanding of the contents of the present invention. Specifically, the present invention may be implemented in various embodiments described below, and may be implemented in various modifications without substantially exceeding the principle of the present invention. All such variations are within the scope of the present disclosure and the specification.
（端末装置１）
図４は、端末装置１の概略構成の一例を示す図である。
(Terminal device 1)
FIG. 4 is a diagram illustrating an example of a schematic configuration of the
端末装置１は、端末装置１にインストールされたアプリケーションプログラムに対応するガイド情報を表示する機能を有する。そのために、端末装置１は、端末通信部１１と、端末記憶部１２と、端末操作部１３と、端末表示部１４と、端末処理部１５とを備える。
The
なお、本実施形態では、端末装置１として、多機能携帯電話を想定するが、本発明はこれに限定されるものではない。端末装置１は、本発明が適用可能であればよく、例えば、携帯電話（所謂「フィーチャーフォン」）や携帯情報端末（Personal Digital Assistant, PDA）、携帯ゲーム機、携帯音楽プレーヤ、タブレット端末、タブレットＰＣ（Personal Computer）、ノートＰＣ等でもよい。
In the present embodiment, a multifunction mobile phone is assumed as the
端末通信部１１は、所定の周波数帯を感受帯域とするアンテナを含む、通信インターフェース回路を備え、端末装置１をインターネット等のネットワークに接続する。端末通信部１１は、基地局（図示せず）により割り当てられるチャネルを介して、基地局との間でＣＤＭＡ（Code Division Multiple Access）方式等による無線信号回線を確立し、基地局との間で通信を行う。そして、端末通信部１１は、端末処理部１５から供給されたデータをサーバ等の外部装置に送信する。また、端末通信部１１は、外部装置から受信したデータを端末処理部１５に供給する。
The
端末記憶部１２は、例えば、半導体メモリ装置を備える。端末記憶部１２は、端末処理部１５での処理に用いられるオペレーティングシステム（Operating System）プログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、端末記憶部１２は、ドライバプログラムとして、端末操作部１３を制御する入力デバイスドライバプログラムや、端末表示部１４を制御する出力デバイスドライバプログラム等を記憶する。また、端末記憶部１２は、アプリケーションプログラムとして、表示データの取得及び表示を行うプログラム等を記憶する。また、端末記憶部１２は、データとして、複数のアプリケーションプログラムのそれぞれに対応するガイド情報（各操作手順に対応するアプリケーションプログラムの実行画面をキャプチャした画像等）、ユーザによって設定された設定表示倍率、アプリケーションプログラムのアイコン画像、第１操作手順テーブルＴ１及び第２操作手順テーブルＴ２等を記憶する。なお、設定表示倍率がユーザによって設定されていない場合、設定表示倍率の初期値（１倍）が記憶される。また、ガイド情報として、各操作手順に対応するアプリケーションプログラムの実行画面をキャプチャした画像が記憶されている場合、各当該画像に関連付けて画像ＩＤが記憶される。また、端末記憶部１２は、所定の処理に係る一時的なデータを一時的に記憶してもよい。なお、第１操作手順テーブルＴ１及び第２操作手順テーブルＴ２の詳細は後述する。
The
端末操作部１３は、端末装置１の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネル等である。ユーザは、端末操作部１３を用いて、文字や数字、記号等を入力することができる。端末操作部１３は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示として、端末処理部１５に供給される。
The
端末表示部１４は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機ＥＬ（Electro−Luminescence）ディスプレイ等である。端末表示部１４は、端末処理部１５から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。
The
端末処理部１５は、一又は複数個のプロセッサ及びその周辺回路を備える。端末処理部１５は、端末装置１の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。端末処理部１５は、端末装置１の各種処理が端末記憶部１２に記憶されているプログラムや端末操作部１３の操作等に基づいて適切な手順で実行されるように、端末通信部１１や端末表示部１４等の動作を制御する。端末処理部１５は、端末記憶部１２に記憶されているプログラム（オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、端末処理部１５は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。
The
端末処理部１５は、端末制御部１５１と、取得部１５２と、表示処理部１５３とを有する。端末処理部１５が有するこれらの各部は、端末処理部１５が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、端末処理部１５が有するこれらの各部は、ファームウェアとして端末装置１に実装されてもよい。
The
以下、図５〜１１を参照して、端末装置１の端末表示部１４に表示される各画面の一例について説明する。
Hereinafter, an example of each screen displayed on the
図５（ａ）は、端末装置１の端末表示部１４に表示されるホーム画面５００の一例を示す図である。
FIG. 5A is a diagram illustrating an example of a
ホーム画面５００には、端末装置１が実行可能なアプリケーションプログラムのアイコン画像５０１が表示される。なお、ホーム画面５００は、端末装置１が起動したとき等に表示される画面である。
On the
ユーザによる端末操作部１３の操作に応じて、操作方法を練習したいアプリケーションプログラムが指定された場合、表示されたアイコン画像５０１の中から、指定されたアプリケーションプログラムのアイコン画像５０１ａの位置及びサイズに対応する枠画像が表示される。例えば、端末装置１は、アプリケーションプログラムごとにアイコン画像５０２を記憶し、操作方法を練習したいアプリケーションプログラムが指定された場合、指定されたアプリケーションプログラムのアイコン画像５０２を端末記憶部１２から読み出す。次に、端末装置１は、現在のホーム画面５００をキャプチャした画像を取得する。次に、端末装置１は、公知の類似画像検索処理によって、取得した画像の中から、読み出したアイコン画像５０２と合致するアイコン画像５０１ａを抽出し、抽出したアイコン画像５０１ａの位置及びサイズを算出する。そして、端末装置１は、算出した位置及びサイズに対応する枠画像をホーム画面に重畳して表示する。
When an application program for which an operation method is to be practiced is designated in accordance with the operation of the
図５（ｂ）は、端末装置１の端末表示部１４に表示される、枠画像５１１が表示されたホーム画面５１０の一例を示す図である。
FIG. 5B is a diagram illustrating an example of the
ホーム画面５１０には、ホーム画面５００と同様に、アプリケーションプログラムのアイコン画像５０１が表示されている。また、ユーザによって指定されたアプリケーションプログラムのアイコン画像５０１ａに対応する枠画像５１１がホーム画面５１０に重畳して表示される。なお、ホーム画面５１０に、枠画像５１１内をタップ操作させるための情報（例えば、「枠内のアイコンをタップしましょう。」等の文字列情報）が表示されてもよい。
Similar to the
図６（ａ）は、端末装置１の端末表示部１４に表示される実行画面６００の一例を示す図である。実行画面６００は、ホーム画面５１０に表示されたアイコン画像５０１ａをユーザがタップ操作した場合において、アイコン画像５０１ａのアプリケーションプログラムが起動したときに表示される。
FIG. 6A is a diagram illustrating an example of an
図６（ａ）に示す例では、実行画面６００として、電子メールプログラムが実行した場合の実行画面が表示される。なお、図６（ｂ）は、端末装置１の端末表示部１４に表示された実行画面６００に枠画像６１０を重畳して表示した画面の一例を示す図である。実行画面６００には、枠画像６１０とともに操作方法情報６１１が重畳されて表示される。
In the example shown in FIG. 6A, an execution screen when the e-mail program is executed is displayed as the
枠画像６１０は、表示された実行画面６００における操作対象である操作対象オブジェクト「新規ボタン」の位置及びサイズに対応する枠画像である。操作方法情報６１１には、ユーザに、表示された枠画像６１０に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
The
図７（ａ）は、端末装置１の端末表示部１４に表示される実行画面７００の一例を示す図である。
FIG. 7A is a diagram illustrating an example of an
実行画面７００は、実行画面６００に表示された枠画像６１０に対応する操作対象オブジェクトをユーザがタップ操作した場合における電子メールプログラムの実行画面である。図６（ｂ）及び図７（ａ）に示す例では、操作対象オブジェクト「新規ボタン」がユーザによってタップ操作されることに応じて、実行画面７００として新規メール作成画面が表示される。
The
実行画面７００には、枠画像７０１及び操作方法情報７０２が重畳されて表示される。枠画像７０１は、表示された実行画面７００における操作対象である操作対象オブジェクト「宛先入力ボックス」の位置及びサイズに対応する枠画像である。操作方法情報７０２には、ユーザに、表示された枠画像７０１に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
A
図７（ｂ）は、端末装置１の端末表示部１４に表示された実行画面７００に、次の操作対象である操作対象オブジェクトに対応する枠画像７１０を重畳して表示した画面の一例を示す図である。実行画面７００には、図７（ａ）に示される枠画像７０１とともに、新たに枠画像７１０及び操作方法情報７１１が重畳されて表示される。図７（ａ）及び図７（ｂ）に示す例では、枠画像７０１に対応する操作対象オブジェクト「宛先入力ボックス」がユーザによってタップ操作されたことに応じて、カーソルを「宛先入力ボックス」内に表示する処理が実行され、且つ、実行画面７００に、枠画像７１０及び操作方法情報７１１が重畳されて表示される。
FIG. 7B shows an example of a screen displayed by superimposing a
枠画像７１０は、表示された実行画面７００における、次の操作対象である操作対象オブジェクト「文字入力ボタン」の位置及びサイズに対応する枠画像である。操作方法情報７１１には、ユーザに、表示された枠画像７１０に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
The
図８（ａ）は、端末装置１の端末表示部１４に表示された実行画面７００に、次の操作対象である操作対象オブジェクトに対応する枠画像８００を重畳して表示した画面の一例を示す図である。実行画面７００には、図７（ａ）に示される枠画像７０１とともに、新たに枠画像８００及び操作方法情報８０１が重畳されて表示される。図７（ｂ）及び図８（ａ）に示す例では、枠画像７１０に対応する操作対象オブジェクト「文字入力ボタン」がユーザによってタップ操作されたことに応じて、「ａ」の文字を「宛先入力ボックス」内に表示する処理が実行され、且つ、実行画面７００に、枠画像８００及び操作方法情報８０１が重畳されて表示される。
FIG. 8A shows an example of a screen displayed by superimposing a
枠画像８００は、表示された実行画面７００における、次の操作対象である操作対象オブジェクト「文字入力ボタン」の位置及びサイズに対応する枠画像である。操作方法情報８０１には、ユーザに、表示された枠画像８００に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
The
図８（ｂ）は、端末装置１の端末表示部１４に表示された実行画面７００に、次の操作対象である操作対象オブジェクトに対応する枠画像８１０を重畳して表示した画面の一例を示す図である。実行画面７００には、図７（ａ）に示される枠画像７０１とともに、新たに枠画像８１０及び操作方法情報８１１が重畳されて表示される。図８（ａ）及び図８（ｂ）に示す例では、枠画像８００に対応する操作対象オブジェクト「文字入力ボタン」がユーザによってタップ操作されたことに応じて、「ｅ」の文字を「宛先入力ボックス」内に表示する処理が実行され、且つ、実行画面７００に、枠画像８１０及び操作方法情報８１１が重畳されて表示される。
FIG. 8B illustrates an example of a screen in which a
枠画像８１０は、表示された実行画面７００における、次の操作対象である操作対象オブジェクト「文字入力ボタン」の位置及びサイズに対応する枠画像である。操作方法情報８１１には、ユーザに、表示された枠画像８１０に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
The
図９（ａ）は、枠画像７０１に対応する「宛先入力ボックス」に所定の文字列が全て入力された後に、端末装置１の端末表示部１４に表示された実行画面７００に、次の操作対象である操作対象オブジェクト「件名入力ボックス」に対応する枠画像９００及び操作対象オブジェクト「文字切替ボタン」に対応する枠画像９０１を重畳して表示した画面の一例を示す図である。
FIG. 9A illustrates the following operation on the
枠画像７０１に対応する「宛先入力ボックス」に所定の文字列が全て入力されると、枠画像９００が表示されるとともに、枠画像９００に対応する「件名入力ボックス」内にカーソルを表示する処理が実行され、且つ、実行画面７００に、枠画像９０１及び操作方法情報９０２が重畳されて表示される。
When all the predetermined character strings are input to the “destination input box” corresponding to the
枠画像９０１は、表示された実行画面７００における、次の操作対象である操作対象オブジェクト「文字切替ボタン」の位置及びサイズに対応する枠画像である。操作方法情報９０２には、ユーザに、表示された枠画像９０１に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
The
図９（ｂ）は、端末装置１の端末表示部１４に表示された実行画面７００に、次の操作対象である操作対象オブジェクトに対応する枠画像９１０を重畳して表示した画面の一例を示す図である。実行画面７００には、図９（ａ）に示される枠画像９０１とともに、新たに枠画像９１０及び操作方法情報９１１が重畳されて表示される。図９（ａ）及び図９（ｂ）に示す例では、枠画像９０１に対応する操作対象オブジェクト「文字切替ボタン」がユーザによってタップ操作されたことに応じて、文字入力ボタンの入力モードが、英数字入力モードから、かな入力モードに変更する処理が実行され、且つ、実行画面７００に、枠画像９１０及び操作方法情報９１１が重畳されて表示される。
FIG. 9B shows an example of a screen displayed by superimposing a
枠画像９１０は、表示された実行画面７００における、次の操作対象である操作対象オブジェクト「文字入力ボタン」の位置及びサイズに対応する枠画像である。操作方法情報９１１には、ユーザに、表示された枠画像９１０に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
The
図１０（ａ）は、枠画像９０１に対応する「件名入力ボックス」に所定の文字列が全て入力された後に、端末装置１の端末表示部１４に表示された実行画面７００に、次の操作対象である操作対象オブジェクト「本文入力ボックス」に対応する枠画像１０００及び操作対象オブジェクト「文字入力ボタン」に対応する枠画像１００１を重畳して表示した画面の一例を示す図である。
FIG. 10A shows the next operation on the
枠画像９０１に対応する「件名入力ボックス」に所定の文字列が全て入力されると、枠画像１０００が表示されるとともに、枠画像１０００に対応する「本文入力ボックス」内にカーソルを表示する処理が実行され、且つ、実行画面７００に、枠画像１００１及び操作方法情報１００２が重畳されて表示される。
When all the predetermined character strings are input in the “subject input box” corresponding to the
枠画像１００１は、表示された実行画面７００における、次の操作対象である操作対象オブジェクト「文字入力ボタン」の位置及びサイズに対応する枠画像である。操作方法情報１００２には、ユーザに、表示された枠画像１００１に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
The
図１０（ｂ）は、枠画像１０００に対応する「本文入力ボックス」に所定の文字列の最後の文字を入力するための画面の一例を示す図である。端末装置１の端末表示部１４に表示された実行画面７００に、次の操作対象である操作対象オブジェクト「本文入力ボックス」に対応する枠画像１０１０及び操作方法情報１０１１が重畳されて表示される。
FIG. 10B is a diagram illustrating an example of a screen for inputting the last character of a predetermined character string in the “text input box” corresponding to the
枠画像１０１０は、表示された実行画面７００における、次の操作対象である操作対象オブジェクト「文字入力ボタン」の位置及びサイズに対応する枠画像である。操作方法情報１０１１には、ユーザに、表示された枠画像１０１０に対応する操作対象オブジェクトを操作するように促す文字列情報等が表示される。
The
ユーザによって、枠画像１０１０に対応する操作対象オブジェクトが選択されたことに応じて、「。」の文字を「本文入力ボックス」内に表示する処理が実行され、その後、電子メールプログラムの実行が終了する。そして、後述する画像表示画面１１００が表示される。
In response to selection of the operation target object corresponding to the
図１１（ａ）は、端末装置１の端末表示部１４に表示される画像表示画面１１００の一例を示す図である。画像表示画面１１００には、実行画面の画像１１０１、枠画像１１０２、操作方法情報１１０３等が表示される。画像表示画面１１００は、図１０（ｂ）に示される実行画面７００において、枠画像１０１０に対応する操作対象オブジェクトが選択された場合に表示される。
FIG. 11A is a diagram illustrating an example of an
実行画面の画像１１０１は、枠画像１０１０に対応する操作対象オブジェクトが選択された場合に表示された実行画面をキャプチャした画像である。枠画像１１０２は、実行画面の画像１１０１における操作対象である操作対象オブジェクトの画像領域の位置及びサイズに対応する枠画像である。操作方法情報１１０３は、ユーザに、表示された枠画像１１０２に対応する操作対象オブジェクトの画像領域を操作するように促す文字列情報等が表示される。
The
なお、画像１１０１に対応する実行画面は、当該画像１１０１に含まれる枠画像１０１０に対応する操作対象オブジェクトに関連付けられた所定の処理が他の装置との通信処理を含む場合の実行画面等である。これにより、ユーザが、操作練習中においてユーザが操作を誤っても、無用な通信費用がかかることがないため、ユーザは操作方法の習得に集中することが可能になる。
The execution screen corresponding to the
図１１（ｂ）は、端末装置１の端末表示部１４に表示される画像表示画面１１１０の一例を示す図である。画像表示画面１１１０には、実行画面の画像１１１１、操作方法情報１１１２、終了ボタン１１１３等が表示される。画像表示画面１１１０は、図１１（ａ）に示される画像表示画面１１００において、枠画像１１０２に対応する操作対象オブジェクトの画像領域が選択された場合に表示される。
FIG. 11B is a diagram illustrating an example of an
実行画面の画像１１１１は、枠画像１１０２に対応する操作対象オブジェクトが選択された場合に表示された実行画面をキャプチャした画像である。操作方法情報１１１２は、ユーザに練習させる所定の操作手順が終了したことを示す文字列情報等が表示される。ユーザによって、終了ボタン１１１３が選択されると、画像表示画面１１１０の表示が終了し、操作方法の練習が終了する。
The
（各種テーブル）
以下、端末記憶部１２に記憶される各種テーブルについて説明する。図１２（ａ）は、第１操作手順テーブルＴ１のデータ構造の一例を示す図であり、図１２（ｂ）は、第２操作手順テーブルＴ２のデータ構造の一例を示す図である。なお、端末記憶部１２に記憶される各種テーブルの全て又は一部は、端末記憶部１２とは異なる一又は複数の装置によって記憶されてもよい。この場合、端末装置１は、無線又は有線の通信ネットワークを介して、各種テーブルを記憶する一又は複数の装置と接続し、一又は複数の装置から各種テーブルに含まれる情報を受信し、又は、一又は複数の装置に各種テーブルに記憶する情報を送信する。
(Various tables)
Hereinafter, various tables stored in the
図１２（ａ）に示す第１操作手順テーブルＴ１は、アプリケーションプログラムの実行画面における操作対象である操作対象オブジェクトに対応する枠画像の位置及びサイズ、並びに、実行画面をキャプチャした画像に遷移する手順を管理するためのテーブルである。第１操作手順テーブルＴ１は、各アプリケーションプログラムにおいて、ユーザに練習させたい機能ごとに作成される。第１操作手順テーブルＴ１には、ユーザに練習させる所定の操作手順のそれぞれについて、各操作手順の手順ＩＤ（Identification）、位置、サイズ、画像練習指示等が互いに関連付けて所定の操作手順の順番に従って記憶される。 The first operation procedure table T1 shown in FIG. 12A is a procedure for transitioning to the position and size of the frame image corresponding to the operation target object that is the operation target on the execution screen of the application program, and an image obtained by capturing the execution screen. It is a table for managing. The first operation procedure table T1 is created for each function that the user wants to practice in each application program. In the first operation procedure table T1, for each predetermined operation procedure to be practiced by the user, the procedure ID (Identification), position, size, image practice instruction, etc. of each operation procedure are associated with each other according to the order of the predetermined operation procedure. Remembered.
手順ＩＤは、各操作手順を一意に識別するための識別情報の一例である。また、位置には、各操作手順に対応するアプリケーションプログラムの実行画面における操作対象である操作対象オブジェクトの位置を示す情報が記憶される。また、サイズには、各操作手順に対応するアプリケーションプログラムの実行画面における操作対象である操作対象オブジェクトのサイズを示す情報が記憶される。画像練習指示には、各操作手順に対応するアプリケーションプログラムの実行画面における操作対象である操作対象オブジェクトが選択された場合に遷移する実行画面をキャプチャした画像に係る、後述する第２操作手順テーブルＴ２の手順ＩＤが記憶される。なお、画像練習指示に情報が記憶されていない場合、実行画面をキャプチャした画像に遷移しない。 The procedure ID is an example of identification information for uniquely identifying each operation procedure. Further, information indicating the position of the operation target object that is the operation target on the execution screen of the application program corresponding to each operation procedure is stored in the position. The size stores information indicating the size of the operation target object that is the operation target on the execution screen of the application program corresponding to each operation procedure. In the image practice instruction, a second operation procedure table T2 (to be described later) related to an image obtained by capturing an execution screen that transitions when an operation target object that is an operation target on the execution screen of the application program corresponding to each operation procedure is selected. The procedure ID is stored. If no information is stored in the image practice instruction, the execution screen does not transition to the captured image.
図１２（ｂ）に示す第２操作手順テーブルＴ２は、アプリケーションプログラムの実行画面をキャプチャした画像、並びに、当該画像に含まれる操作対象オブジェクトに対応する枠画像の位置及びサイズを管理するためのテーブルである。第２操作手順テーブルＴ２は、各アプリケーションプログラムにおいて、ユーザに練習させたい機能ごとに作成される。第２操作手順テーブルＴ２には、ユーザに練習させる所定の操作手順のそれぞれについて、各操作手順の手順ＩＤ、画像ＩＤ，位置、サイズ等が互いに関連付けて所定の操作手順の順番に従って記憶される。 The second operation procedure table T2 shown in FIG. 12B is a table for managing the position and size of the frame image corresponding to the operation target object included in the image captured from the execution screen of the application program. It is. The second operation procedure table T2 is created for each function that the user wants to practice in each application program. The second operation procedure table T2 stores the procedure ID, image ID, position, size, and the like of each operation procedure in association with each other according to the order of the predetermined operation procedure for each of the predetermined operation procedures to be practiced by the user.
手順ＩＤは、各操作手順を一意に識別するための識別情報の一例である。また、画像ＩＤには、各操作手順に対応するアプリケーションプログラムの実行画面をキャプチャした画像を識別するための識別情報が記憶される。また、位置には、各操作手順に対応するアプリケーションプログラムの実行画面における操作対象である操作対象オブジェクトの位置を示す情報が記憶される。また、サイズには、各操作手順に対応するアプリケーションプログラムの実行画面における操作対象である操作対象オブジェクトのサイズを示す情報が記憶される。 The procedure ID is an example of identification information for uniquely identifying each operation procedure. The image ID stores identification information for identifying an image obtained by capturing an execution screen of the application program corresponding to each operation procedure. Further, information indicating the position of the operation target object that is the operation target on the execution screen of the application program corresponding to each operation procedure is stored in the position. The size stores information indicating the size of the operation target object that is the operation target on the execution screen of the application program corresponding to each operation procedure.
（アイコン画像提示処理の動作フロー）
図１３は、取得部１５２、表示処理部１５３によって実行されるガイド画面表示処理の動作フローの一例を示す図である。
(Operation flow of icon image presentation processing)
FIG. 13 is a diagram illustrating an example of an operation flow of guide screen display processing executed by the
まず、取得部１５２は、端末制御部１５１から、アイコン画像提示指示を取得する（ステップＳ１０１）。すなわち、端末制御部１５１は、図示しない練習開始画面に表示された複数のアプリケーションプログラムの中からユーザによって練習したいアプリケーションプログラムが選択され、且つ、選択されたアプリケーションプログラムのうちの練習したい機能がユーザによって指定されたことを検知した場合に、取得部１５２にアイコン画像提示指示を供給する。なお、アイコン画像提示指示には、選択されたアプリケーションプログラムを示す情報及び練習したい機能を示す情報が含まれる。
First, the
次に、取得部１５２は、端末装置１の現在のホーム画面をキャプチャした画像を取得する（ステップＳ１０２）。
Next, the
次に、表示処理部１５３は、アイコン画像提示指示に含まれるアプリケーションプログラムを示す情報に基づいて、アプリケーションプログラムのアイコン画像を端末記憶部１２から読み出す。そして、表示処理部１５３は、ステップＳ１０２で取得した画像の中から、読み出したアイコン画像と合致するアイコン画像を抽出する（ステップＳ１０３）。
Next, the
次に、表示処理部１５３は、抽出したアイコン画像の位置及びサイズを算出する（ステップＳ１０４）。すなわち、キャプチャした画像の上端且つ左端の位置を原点（０，０）とし、且つ、キャプチャした画像の縦方向の高さ及び画像の横方向のサイズに基づいて、抽出したアイコン画像の上端且つ左端の位置及びサイズを算出する。
Next, the
そして、表示処理部１５３は、算出した枠画像の位置及びサイズに対応する枠画像を生成し、ホーム画像に重畳させるようにして、生成した枠画像を表示し（ステップＳ１０５）、一連のステップを終了する。
Then, the
なお、上述したステップＳ１０３〜Ｓ１０４をサーバ等の外部装置が実行してもよい。この場合、例えば、取得部１５２は、アイコン画像提示指示及び取得した画像を、端末通信部１１を介して外部装置に送信する。外部装置は、各アプリケーションプログラムのアイコン画像を記憶しており、端末装置１から送信されたアイコン画像提示指示及び画像を受信すると、ステップＳ１０３〜Ｓ１０４の各処理を実行する。そして、外部装置は、ステップＳ１０３〜Ｓ１０４の各処理の実行結果を端末装置１に送信する。
Note that steps S103 to S104 described above may be executed by an external device such as a server. In this case, for example, the
これにより、端末装置１は、端末記憶部１２の記憶容量を消費せずに、ホーム画面に枠画像を表示することが可能になる。
（練習情報表示処理の動作フロー）
図１４は、端末制御部１５１、取得部１５２、表示処理部１５３によって実行される練習情報表示処理の動作フローの一例を示す図である。練習情報表示処理は、ユーザによる端末操作部１３による操作に応じて、ホーム画面に表示された枠画像に対応するアイコン画像が選択された場合に、実行される。
Thereby, the
(Practice information display process flow)
FIG. 14 is a diagram illustrating an example of an operation flow of practice information display processing executed by the
まず、端末制御部１５１は、選択されたアイコン画像に対応するアプリケーションプログラムを起動させ、表示処理部１５３は、アプリケーションプログラムの最初の実行画面を表示し、第１操作手順テーブルＴ１を参照し、最初の操作手順の手順ＩＤに関連図けられた位置及びサイズに対応する枠画像を表示する（ステップＳ２０１）。
First, the
次に、表示処理部１５３は、選択指示を取得したか否かを判定する（ステップＳ２０２）。なお、ステップＳ２０１で表示された実行画面における操作対象の操作対象オブジェクトが選択された場合、端末制御部１５１は、表示処理部１５３に選択指示を供給し、表示処理部１５３は、端末制御部１５１から供給された選択指示を所得する。
Next, the
表示処理部１５３は、選択指示を取得していないと判定した場合（ステップＳ２０２−Ｎｏ）、端末制御部１５１から選択指示を取得するまでステップＳ２０２を実行する。
If the
次に、表示処理部１５３は、選択指示を取得したと判定した場合（ステップＳ２０２−Ｙｅｓ）、現在の操作手順の手順ＩＤに、画像練習指示が記憶されているか否かを判定する（ステップＳ２０３）。
Next, when it is determined that the selection instruction has been acquired (step S202—Yes), the
表示処理部１５３によって画像練習指示が記憶されていると判定された場合（ステップＳ２０３−Ｙｅｓ）、端末制御部１５１は、実行中（練習中）のアプリケーションプログラムの実行を終了し、後述するステップＳ２０６に処理を進める。
If it is determined by the
また、表示処理部１５３は、画像練習指示画像練習指示が記憶されていないと判定した場合（ステップＳ２０３−Ｎｏ）、端末制御部１５１は、ステップＳ２０２において選択されたと判定された操作対象オブジェクトに関連付けられた所定の処理を実行する（ステップＳ２０４）。なお、所定の処理は、例えば、操作対象オブジェクトがメールの新規作成を指示するボタンである場合、メール作成画面（「次の実行画面」の一例）を表示する処理であり、また、例えば、操作対象オブジェクトが文字入力を指示するボタンである場合、カーソルが表示された入力ボックスに文字を表示する処理である。
Further, when the
次に、表示処理部１５３は、ステップＳ２０２において選択されたと判定された操作対象オブジェクトに対応する操作手順の次の操作手順の手順ＩＤを特定し、第１操作手順テーブルＴ１を参照して、特定した手順ＩＤに関連付けられた位置及びサイズを抽出する。次に、表示処理部１５３は、抽出した位置及びサイズに対応する枠画像を表示し、ステップＳ２０２に処理を戻す（ステップＳ２０５）。
Next, the
表示処理部１５３は、端末記憶部１２に記憶された設定表示倍率を取得する（ステップＳ２０６）。
The
次に、表示処理部１５３は、ステップＳ２０３において記憶されたと判定した画像練習指示に含まれる手順ＩＤを抽出して、第２操作手順テーブルＴ２を参照して、抽出した手順ＩＤに関連付けられた画像ＩＤ、位置及びサイズを抽出する。次に、表示処理部１５３は、抽出した画像ＩＤに関連付けられた画像（実行画面をキャプチャした画像）を設定表示倍率に基づいて表示し、抽出した位置及びサイズに対応する枠画像を設定表示倍率に基づいて表示する（ステップＳ２０７）。
Next, the
次に、表示処理部１５３は、選択指示を取得したか否かを判定する（ステップＳ２０８）。すなわち、表示されている画像に含まれる、操作対象の操作対象オブジェクトの画像領域が選択された場合、端末制御部１５１は、表示処理部１５３に選択指示を供給し、表示処理部１５３は、端末制御部１５１から供給された選択指示を所得する。
Next, the
表示処理部１５３は、選択指示を取得しない場合（ステップＳ２０８−Ｎｏ）、端末制御部１５１から選択指示を取得するまでステップＳ２０８を実行する。
When the
次に、表示処理部１５３は、ステップＳ２０８で選択指示が取得されたと判定された場合（ステップＳ２０８−Ｙｅｓ）、当該選択指示が取得されたと判定された際の操作対象オブジェクトが終了ボタンであるか否かを判定する（ステップＳ２０９）。
Next, if it is determined that the selection instruction is acquired in step S208 (step S208-Yes), the
表示処理部１５３は、ステップＳ２０８で選択指示が取得されたと判定された際の操作対象オブジェクトが終了ボタンでないと判定した場合（ステップＳ２０９−Ｎｏ）、ステップＳ２０８で選択指示が取得されたと判定された際の操作対象オブジェクトに対応する操作手順の次の操作手順の手順ＩＤを特定し、第２操作手順テーブルＴ２を参照して、特定した画像ＩＤ、位置及びサイズを抽出する。次に、表示処理部１５３は、抽出した画像ＩＤに関連付けられた画像を表示し、抽出した位置及びサイズに対応する枠画像を表示し（ステップＳ２１０）、ステップＳ２０８に処理を戻す。
When the
また、表示処理部１５３は、ステップＳ２０８で選択指示が取得されたと判定された際の操作対象オブジェクトが終了ボタンであると判定した場合（ステップＳ２０９−Ｙｅｓ）、一連のステップを終了する。
If the
（変形例１）
なお、本発明は、上述した実施形態に限定されるものではない。例えば、操作方法情報６１１は、文字列情報に限らず、表示された枠画像に対応する操作対象オブジェクトを操作するように促す情報であれば、どのような情報でもよく、例えば、画像情報（枠画像を指し示す矢印画像等）、音声情報等であってもよい。
(Modification 1)
In addition, this invention is not limited to embodiment mentioned above. For example, the
（変形例２）
また、端末装置１の各画面において枠画像が表示されている場合、ユーザによる端末操作部１３の操作に応じて、枠画像以外の表示領域が指定された場合、端末制御部１５１は、当該指定された情報を無効にしてもよい。これにより、ユーザが、誤操作によって枠画像以外の表示領域を指定したとしても、当該誤操作が実行中のアプリケーションに反映されないため、ユーザの操作練習が中断することなく、端末装置１によって、効率的な画面操作練習を提供することが可能になる。
(Modification 2)
In addition, when a frame image is displayed on each screen of the
なお、上述した変形例１及び変形例２は、少なくとも２以上の変形例が組み合わされて本実施形態の端末装置１に組み込まれてもよい。
Note that the first and second modifications described above may be combined into at least the two or more modifications and incorporated into the
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。 It should be understood by those skilled in the art that various changes, substitutions, and modifications can be made thereto without departing from the spirit and scope of the present invention.
１ 端末装置
１１ 端末通信部
１２ 端末記憶部
１３ 端末操作部
１４ 端末表示部
１５ 端末処理部
１５１ 端末制御部
１５２ 取得部
１５３ 表示処理部
DESCRIPTION OF
Claims (4)
前記アプリケーションプログラムにおいて、所定の操作手順で操作した場合に遷移する一連の前記アプリケーションプログラムの実行画面の情報を前記記憶部に記憶するとともに、前記一連のアプリケーションプログラムの実行画面に含まれる操作対象である操作対象オブジェクトの位置及びサイズを前記所定の操作手順の順番に前記記憶部に記憶し、
前記表示部に表示される前記アプリケーションプログラムの実行画面の設定表示倍率を取得し、
ユーザからの前記アプリケーションプログラムの練習指示を取得した場合、前記アプリケーションプログラムを実行させ、前記一連のアプリケーションプログラムの実行画面のうちの所定の実行画面を、前記設定表示倍率に基づいて前記表示部に表示し、
前記所定の実行画面に含まれる前記操作対象オブジェクトに対応する枠画像を、前記設定表示倍率に基づいて変更した前記操作対象オブジェクトの位置及びサイズで作成し、前記所定の実行画面に重畳させるようにして前記表示部に表示し、
前記枠画像に対応する操作対象オブジェクトに関連付けられた処理が、他の装置との通信処理を含む場合、ユーザからの前記枠画像に対応する操作対象オブジェクトの選択指示に応じて、前記アプリケーションプログラムに当該通信処理を実行させずに当該操作対象オブジェクトに関連付けられた所定の処理を実行させ、前記所定の画像から、前記一連のアプリケーションプログラムの実行画面のうちの次の実行画面へ切り換えを行い、前記次の実行画面に含まれる操作対象オブジェクトに対応する枠画像を前記次の実行画面に重畳して表示する、
ことを前記プロセッサに実行させるプログラム。 A program having a display unit, a storage unit, and a processor for causing a terminal device that executes an application program to explain a screen operation method of the application program,
In the application program, information on a series of execution screens of the application program that transitions when operated by a predetermined operation procedure is stored in the storage unit, and is an operation target included in the execution screen of the series of application programs Storing the position and size of the operation target object in the storage unit in the order of the predetermined operation procedure ;
Obtaining a setting display magnification of the execution screen of the application program displayed on the display unit;
If you get the practice instruction of the application program from the user, to execute the application program, displays a predetermined execution screen of the execution screen of the set of application programs, the display unit based on the set display magnification And
A frame image corresponding to the operation target object included in the predetermined execution screen is created with the position and size of the operation target object changed based on the setting display magnification, and is superimposed on the predetermined execution screen. Displayed on the display unit,
When the process associated with the operation target object corresponding to the frame image includes a communication process with another device, the application program is selected according to a selection instruction of the operation target object corresponding to the frame image from the user. to execute the predetermined processing associated with the operation target object without executing the communication process, from the predetermined image, have the following line switching to the execution screen of the execution screen of the set of application programs, Displaying a frame image corresponding to the operation target object included in the next execution screen so as to be superimposed on the next execution screen;
A program that causes the processor to execute the above.
前記取得した画像データの中から、前記アプリケーションプログラムのアイコン画像の位置及びサイズを特定し、
前記特定した位置及びサイズに対応する枠画像を、前記表示されているホーム画面に重畳して表示し、
ユーザから前記枠画像に対応するアイコン画像の選択指示を取得した場合、前記アプリケーションプログラムの練習指示を取得する処理を実行する、請求項１に記載のプログラム。 When a home screen including an icon image of the application program is displayed on the display unit, when obtaining a presentation instruction for the icon image of the application program from a user, the image data of the home screen is acquired,
From the acquired image data, specify the position and size of the icon image of the application program,
A frame image corresponding to the specified position and size is displayed superimposed on the displayed home screen,
If you get the selection instruction of the icon image corresponding to the frame image from the user, it executes the process of acquiring the training instruction of the application program, the program according to claim 1.
前記アプリケーションプログラムにおいて、所定の操作手順で操作した場合に遷移する一連の前記アプリケーションプログラムの実行画面の情報を前記記憶部に記憶するとともに、前記一連のアプリケーションプログラムの実行画面に含まれる操作対象である操作対象オブジェクトの位置及びサイズを前記所定の操作手順の順番に前記記憶部に記憶し、
前記表示部に表示される前記アプリケーションプログラムの実行画面の設定表示倍率を取得し、
ユーザからの前記アプリケーションプログラムの練習指示を取得した場合、前記アプリケーションプログラムを実行させ、前記一連のアプリケーションプログラムの実行画面のうちの所定の実行画面を、前記設定表示倍率に基づいて前記表示部に表示し、
前記所定の実行画面に含まれる前記操作対象オブジェクトに対応する枠画像を、前記設定表示倍率に基づいて変更した前記操作対象オブジェクトの位置及びサイズで作成し、前記所定の実行画面に重畳させるようにして前記表示部に表示し、
前記枠画像に対応する操作対象オブジェクトに関連付けられた処理が、他の装置との通信処理を含む場合、ユーザからの前記枠画像に対応する操作対象オブジェクトの選択指示に応じて、前記アプリケーションプログラムに当該通信処理を実行させずに当該操作対象オブジェクトに関連付けられた所定の処理を実行させ、前記所定の画像から、前記一連のアプリケーションプログラムの実行画面のうちの次の実行画面へ切り換えを行い、前記次の実行画面に含まれる操作対象オブジェクトに対応する枠画像を前記次の実行画面に重畳して表示する、
ことを含むことを特徴とする制御方法。 A control method for a terminal device that includes a display unit, a storage unit, and a processor, executes an application program, and explains a screen operation method of the application program,
In the application program, information on a series of execution screens of the application program that transitions when operated by a predetermined operation procedure is stored in the storage unit, and is an operation target included in the execution screen of the series of application programs Storing the position and size of the operation target object in the storage unit in the order of the predetermined operation procedure ;
Obtaining a setting display magnification of the execution screen of the application program displayed on the display unit;
If you get the practice instruction of the application program from the user, to execute the application program, displays a predetermined execution screen of the execution screen of the set of application programs, the display unit based on the set display magnification And
A frame image corresponding to the operation target object included in the predetermined execution screen is created with the position and size of the operation target object changed based on the setting display magnification, and is superimposed on the predetermined execution screen. Displayed on the display unit,
When the process associated with the operation target object corresponding to the frame image includes a communication process with another device, the application program is selected according to a selection instruction of the operation target object corresponding to the frame image from the user. to execute the predetermined processing associated with the operation target object without executing the communication process, from the predetermined image, have the following line switching to the execution screen of the execution screen of the set of application programs, Displaying a frame image corresponding to the operation target object included in the next execution screen so as to be superimposed on the next execution screen;
A control method comprising:
表示部と、
前記アプリケーションプログラムにおいて、所定の操作手順で操作した場合に遷移する一連の前記アプリケーションプログラムの実行画面の情報を記憶するとともに、前記一連のアプリケーションプログラムの実行画面に含まれる操作対象である操作対象オブジェクトの位置及びサイズを前記所定の操作手順の順番に記憶する記憶部と、
前記表示部に表示される前記アプリケーションプログラムの実行画面の設定表示倍率を取得する取得部と、
ユーザからの前記アプリケーションプログラムの練習指示を取得した場合、前記アプリケーションプログラムを実行させ、前記一連のアプリケーションプログラムの実行画面のうちの所定の実行画面を、前記設定表示倍率に基づいて前記表示部に表示し、
前記所定の実行画面に含まれる前記操作対象オブジェクトに対応する枠画像を、前記設定表示倍率に基づいて変更した前記操作対象オブジェクトの位置及びサイズで作成し、前記所定の実行画面に重畳させるようにして前記表示部に表示し、
前記枠画像に対応する操作対象オブジェクトに関連付けられた処理が、他の装置との通信処理を含む場合、ユーザからの前記枠画像に対応する操作対象オブジェクトの選択指示に応じて、前記アプリケーションプログラムに当該通信処理を実行させずに当該操作対象オブジェクトに関連付けられた所定の処理を実行させ、前記所定の画像から、前記一連のアプリケーションプログラムの実行画面のうちの次の実行画面へ切り換えを行い、前記次の実行画面に含まれる操作対象オブジェクトに対応する枠画像を前記次の実行画面に重畳して表示する表示処理部と、
を備えることを特徴とする端末装置。 A terminal device for executing an application program and explaining a screen operation method of the application program,
A display unit;
In the application program, information on a series of execution screens of the application program that transition when operated in a predetermined operation procedure is stored , and an operation target object that is an operation target included in the execution screen of the series of application programs is stored . A storage unit for storing the position and size in the order of the predetermined operation procedure ;
An acquisition unit for acquiring a setting display magnification of an execution screen of the application program displayed on the display unit;
If you get the practice instruction of the application program from the user, to execute the application program, displays a predetermined execution screen of the execution screen of the set of application programs, the display unit based on the set display magnification And
A frame image corresponding to the operation target object included in the predetermined execution screen is created with the position and size of the operation target object changed based on the setting display magnification, and is superimposed on the predetermined execution screen. Displayed on the display unit,
When the process associated with the operation target object corresponding to the frame image includes a communication process with another device, the application program receives the instruction to select the operation target object corresponding to the frame image from the user. to execute the predetermined processing associated with the operation target object without executing the communication process, from the predetermined image, have the following line switching to the execution screen of the execution screen of the set of application programs, A display processing unit for displaying a frame image corresponding to the operation target object included in the next execution screen in a superimposed manner on the next execution screen ;
A terminal device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017100400A JP6608402B2 (en) | 2017-05-19 | 2017-05-19 | Program, control method, and terminal device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017100400A JP6608402B2 (en) | 2017-05-19 | 2017-05-19 | Program, control method, and terminal device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018195220A JP2018195220A (en) | 2018-12-06 |
| JP6608402B2 true JP6608402B2 (en) | 2019-11-20 |
Family
ID=64571670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017100400A Active JP6608402B2 (en) | 2017-05-19 | 2017-05-19 | Program, control method, and terminal device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6608402B2 (en) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5731224B2 (en) * | 2011-02-15 | 2015-06-10 | 矢崎総業株式会社 | Combined connector and combined connector system |
-
2017
- 2017-05-19 JP JP2017100400A patent/JP6608402B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018195220A (en) | 2018-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101185634B1 (en) | Terminal device, link selection method, and computer-readable recording medium stored thereon display program | |
| CN112099686B (en) | Icon display control method and device and electronic equipment | |
| JP6071948B2 (en) | Information processing apparatus, display method, and control program | |
| CN105843492A (en) | Method and apparatus for editing home screen in touch device | |
| JP2013200265A (en) | Electronic apparatus in which navigation application is installed, control method of electronic apparatus and computer program | |
| JP2015007949A (en) | Display device, display controlling method, and computer program | |
| JP5925046B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
| JP2008243128A (en) | Touch panel device | |
| JP5963291B2 (en) | Method and apparatus for inputting symbols from a touch sensitive screen | |
| JP4757785B2 (en) | Selection device, control method, selection device control program, and recording medium | |
| JP6608402B2 (en) | Program, control method, and terminal device | |
| JP2017016594A (en) | Information processing apparatus, information display program, and information display method | |
| TWI473491B (en) | Mobile communication device and method of controlling the same | |
| JPWO2014024281A1 (en) | Electronic device, display control method and program | |
| JP6591481B2 (en) | Program, control method, and terminal device | |
| JP6421604B2 (en) | Information processing apparatus, recording system, and program | |
| JP6154654B2 (en) | Program and information processing apparatus | |
| JP6722239B2 (en) | Information processing device, input method, and program | |
| JP6786197B2 (en) | Information processing equipment, information processing methods and information processing programs | |
| JP6603797B2 (en) | Information processing apparatus, information processing apparatus control method, and control program | |
| JP6194383B2 (en) | Information processing apparatus, information display program, and information display method | |
| JP6213597B2 (en) | Display control apparatus, display control method, and program | |
| JP2023038531A (en) | Display control program | |
| KR101212943B1 (en) | Method for providing top page according to occurrence of key event in browser | |
| JP6592960B2 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190531 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190618 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190902 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191023 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6608402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |