JP6314499B2 - Operation support program and terminal device - Google Patents

Operation support program and terminal device Download PDF

Info

Publication number
JP6314499B2
JP6314499B2 JP2014012989A JP2014012989A JP6314499B2 JP 6314499 B2 JP6314499 B2 JP 6314499B2 JP 2014012989 A JP2014012989 A JP 2014012989A JP 2014012989 A JP2014012989 A JP 2014012989A JP 6314499 B2 JP6314499 B2 JP 6314499B2
Authority
JP
Japan
Prior art keywords
image
text
input
unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014012989A
Other languages
Japanese (ja)
Other versions
JP2015141487A (en
Inventor
浦川　豊
豊 浦川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2014012989A priority Critical patent/JP6314499B2/en
Publication of JP2015141487A publication Critical patent/JP2015141487A/en
Application granted granted Critical
Publication of JP6314499B2 publication Critical patent/JP6314499B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、操作支援プログラムおよび端末装置に関する。   The present invention relates to an operation support program and a terminal device.

特許文献１には、サーバを、当該サーバとＬＡＮを介して接続されるクライアントから遠隔操作できる情報処理システムが記載されている。具体的に、サーバは、当該サーバの表示部に表示されている画面の内容をクライアントへ送信し、クライアントは、サーバから送信された画面の内容を当該クライアントの表示部に表示する。そして、クライアントの表示部に表示された画面に対する操作が行われた場合、クライアントは、当該操作の内容をサーバに送信する。特許文献１には、サーバの表示部に仮想キーボードが表示された場合には、クライアントの表示部にも、サーバの表示部に表示された仮想キーボードが表示されることが記載されている。   Patent Document 1 describes an information processing system in which a server can be remotely operated from a client connected to the server via a LAN. Specifically, the server transmits the contents of the screen displayed on the display unit of the server to the client, and the client displays the contents of the screen transmitted from the server on the display unit of the client. And when operation with respect to the screen displayed on the display part of the client is performed, a client transmits the content of the said operation to a server. Patent Document 1 describes that when a virtual keyboard is displayed on the display unit of the server, the virtual keyboard displayed on the display unit of the server is also displayed on the display unit of the client.

特開２０１２−２０３５３５号公報JP 2012-203535 A

しかしながら、特許文献１によれば、クライアントの表示部には、サーバの表示部に表示されている画面の内容が表示されるので、クライアントの表示部に表示される仮想キーボードが、クライアント側で当該仮想キーボードのキー操作を行うには適さないサイズで表示され、テキストの入力が行い難くなる虞がある。   However, according to Patent Document 1, since the content of the screen displayed on the display unit of the server is displayed on the display unit of the client, the virtual keyboard displayed on the display unit of the client is It is displayed in a size that is not suitable for performing key operations on the virtual keyboard, which may make it difficult to input text.

上記問題に対し、クライアントの表示部に表示された仮想キーボードを拡大して使用することが考えられる。しかし、サーバおよびクライアントの各表示部のアスペクト比が異なる場合、クライアントの表示部に表示される、サーバの表示部に表示されている画面に相当する画像を拡大したとしても、仮想キーボードを十分な大きさに拡大できない状況が生じ得る。   In order to solve the above problem, it is conceivable to enlarge and use the virtual keyboard displayed on the display unit of the client. However, when the aspect ratios of the display units of the server and the client are different, even if the image corresponding to the screen displayed on the display unit of the server displayed on the client display unit is enlarged, the virtual keyboard is sufficient. There may be situations where the size cannot be expanded.

例えば、図５（ａ）に示すように、サーバの表示部３０１のアスペクト比に比べ、クライアントの表示部４０１のアスペクト比が小さい場合に、表示部４０１に表示される、表示部３０１に表示されている画面に相当する画像４０２を拡大したとしても、図５（ｂ）に示すように、画像４０２における仮想キーボード部分４０２ａが依然として小さく、キー操作を行うには不便な場合が生じ得る。   For example, as illustrated in FIG. 5A, when the aspect ratio of the client display unit 401 is smaller than the aspect ratio of the server display unit 301, the display unit 301 displays the display unit 401. Even if the image 402 corresponding to the current screen is enlarged, as shown in FIG. 5B, the virtual keyboard portion 402a in the image 402 is still small, which may be inconvenient for key operations.

本発明は、上述した事情を鑑みてなされたものであり、外部装置を端末装置から遠隔操作する場合に、テキストの入力を行い易い操作支援プログラムおよび端末装置を提供することを目的とする。   The present invention has been made in view of the above-described circumstances, and an object thereof is to provide an operation support program and a terminal device that facilitate text input when an external device is remotely operated from the terminal device.

この目的を達成するために、本発明の操作支援プログラムは、第１表示部と、前記第１表示部に対する入力操作を検出する入力部と、外部装置と通信する通信部と、制御部と、記憶部と、を備えた端末装置の、前記制御部が実行可能であり、かつ、前記入力部が検出した入力操作に基づいて外部装置を操作するためのプログラムであって、外部装置が有する第２表示部に表示される画面に関する画像データを、前記通信部を介して外部装置から取得する画像取得手段と、前記画像取得手段により取得した画像データに基づく画像を前記第１表示部に表示する画像表示手段と、前記画像表示手段により前記第１表示部に表示される画像に対する入力操作を前記入力部が検出した場合、検出された前記入力操作の位置に応じた操作情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第１情報出力手段と、前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力を求める画像を含むかを判断する第１判断手段と、前記第１判断手段により、前記画像がテキストの入力を求める画像を含むと判断される場合、本操作支援プログラムとは異なる第２プログラムに対し、当該第２プログラムが管理するソフトウェアキーを前記第１表示部に表示させる指示を出す表示指示手段と、前記表示指示手段による指示に応じてソフトウェアキーが前記画像とは独立して表示された場合、前記第１表示部における所定の位置に対する入力操作を前記入力部が検出したことを条件として、前記記憶部に記憶されているテキスト情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第２情報出力手段と、前記入力操作に応じたテキスト情報であって、前記第２情報出力手段による前記外部装置への出力が未出力であるテキスト情報を、所定のタイミング毎に、前記記憶部に記憶する記憶手段と、前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含む場合、前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まるかを判断する第２判断手段と、前記第２判断手段により前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まると判断された場合、当該テキストを前記入力フィールドに表示する一方で、前記第２判断手段により前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まらないと判断された場合、当該テキストを、前記第１表示部における画像の非表示領域に表示するテキスト表示手段として、前記制御部を機能させる。
In order to achieve this object, an operation support program of the present invention includes a first display unit, an input unit that detects an input operation on the first display unit, a communication unit that communicates with an external device, a control unit, A storage device, a program that can be executed by the control unit and that operates the external device based on an input operation detected by the input unit, and the external device has (2) Image acquisition means for acquiring image data relating to the screen displayed on the display section from an external device via the communication section; and an image based on the image data acquired by the image acquisition means is displayed on the first display section. When the input unit detects an input operation for an image displayed on the first display unit by the image display unit and the image display unit, operation information corresponding to the detected position of the input operation is transmitted. The first information output means for outputting to the external device from which the image data is acquired by the image acquisition means, and the image displayed on the first display section by the image display means for inputting text A first determination means for determining whether or not an image is included; and when the first determination means determines that the image includes an image for which input of text is requested, a second program different from the operation support program, Display instruction means for issuing an instruction to display the software key managed by the second program on the first display unit, and when the software key is displayed independently of the image according to the instruction by the display instruction means, on condition that the input unit an input operation is detected for a given position in the first display unit, the text information stored in the storage unit, the Via the signal unit, a second information output means for outputting the acquisition source of the external device of the image data by the image acquisition unit, a text information corresponding to the input operation, the by the second information output means external Text information that has not been output to the apparatus is stored in the storage unit at predetermined timings, and an image displayed on the first display unit by the image display unit is a text input field. The second determination means for determining whether the text according to the text information corresponding to the input operation fits in the input field, and the text according to the text information corresponding to the input operation by the second determination means is the input If it is determined that the text fits in the field, the text is displayed in the input field, while the second determination means responds to the input operation. When it is determined that the text according to the text information is not within the input field, the control unit is caused to function as text display means for displaying the text in a non-display area of the image in the first display unit .

なお、本発明の操作支援プログラムは、端末装置、端末装置を制御する制御装置、操作支援システム、操作支援方法、操作支援プログラムを記録する記録媒体等の種々の態様で構成することができる。   The operation support program of the present invention can be configured in various modes such as a terminal device, a control device that controls the terminal device, an operation support system, an operation support method, and a recording medium that records the operation support program.

請求項１記載の操作支援プログラムによれば、外部装置が有する第２表示部に表示される画面に関する画像データに基づく画像が、テキストの入力を求める画像を含むと判断させる場合には、本操作支援プログラムとは異なる第２プログラムに、当該第２プログラムが管理するソフトウェアキーを、端末装置の第１表示部に表示させる指示を出す。これにより、第２プログラムが、第２プログラムにより管理されるソフトウェアキーを、第１表示部に、外部装置に表示される画面に対応する画像とは独立して表示する。通常、ソフトウェアキーは、当該ソフトウェアキーを管理するプログラムを搭載する端末装置にて入力操作を行うのに適したサイズで表示される。よって、かかるソフトウェアキーをテキスト入力のために利用できるので、テキスト入力を行い易い。
また、ソフトウェアキーに対する入力操作に応じたテキスト情報であって、外部装置への出力が未出力であるテキスト情報は、所定のタイミング毎に、記憶部に記憶される。当該記憶部に記憶されるテキスト情報は、第１表示部における所定の位置に対する入力操作が検出されたことを条件として、外部装置に出力される。よって、テキスト情報が、外部装置へ出力するための入力操作が行われるまで記憶部に蓄積されるので、テキストを１つ入力する毎に、当該入力されたテキストが外部装置に出力されることを防止でき、端末装置と外部装置との通信頻度を抑制できる。
さらに、第１表示部に表示される、外部装置に表示される画面に対応する画像が、テキストの入力フィールドを含む場合であっても、ソフトウェアキーを用いて入力したテキストの内容が当該入力フィールド内に収まらない場合には、当該テキストが、第１表示部における、外部装置に表示される画面に対応する画像の非表示領域に表示される。よって、入力したテキストの全内容の確認を容易に行わせ得る。
なお、請求項１において「第２表示部に表示される画面に関する画像データ」は、ビットマップデータなどの画面に対応する画像データに限らず、画面を特定する情報を含む。また、特許請求の範囲および明細書において、用語「テキスト」は、文字、数字または数値、および記号を含む。
請求項２記載の操作支援プログラムによれば、請求項１が奏する効果に加え、第２表示部に表示される画像データに基づく画像は、端末装置の第１表示部であってソフトウェアキーの外側に表示される。これにより、第２プログラムが、第２プログラムにより管理されるソフトウェアキーを、第１表示部に、外部装置に表示される画面に対応する画像とは独立して表示する。通常、ソフトウェアキーは、当該ソフトウェアキーを管理するプログラムを搭載する端末装置にて入力操作を行うのに適したサイズで表示される。よって、かかるソフトウェアキーをテキスト入力のために利用できるので、テキスト入力を行い易い。また、外部装置に表示される画面に対応する画像が、ソフトウェアキーの外側に表示されるので、かかる画像全体を確認しながらソフトウェアキーによる入力操作をすることができる。
According to the operation support program of claim 1, when it is determined that the image based on the image data related to the screen displayed on the second display unit of the external device includes an image for requesting input of text, An instruction to display a software key managed by the second program on the first display unit of the terminal device is issued to a second program different from the support program. As a result, the second program displays the software key managed by the second program on the first display unit independently of the image corresponding to the screen displayed on the external device. Usually, the software key is displayed in a size suitable for performing an input operation on a terminal device equipped with a program for managing the software key. Therefore, since the software key can be used for text input, it is easy to perform text input.
The text information corresponding to the input operation to the software key and not output to the external device is stored in the storage unit at every predetermined timing. The text information stored in the storage unit is output to the external device on condition that an input operation for a predetermined position on the first display unit is detected. Therefore, since the text information is accumulated in the storage unit until an input operation for outputting to the external device is performed, every time one text is input, the input text is output to the external device. The frequency of communication between the terminal device and the external device can be suppressed.
Further, even if the image displayed on the first display unit and corresponding to the screen displayed on the external device includes a text input field, the content of the text input using the software key is the input field. If the text does not fit within the text, the text is displayed in the non-display area of the image corresponding to the screen displayed on the external device in the first display unit. Therefore, it is possible to easily check the entire contents of the input text.
In addition, the “image data relating to the screen displayed on the second display unit” in claim 1 includes not only image data corresponding to the screen such as bitmap data but also information specifying the screen. In the claims and specification, the term “text” includes letters, numbers or numbers, and symbols.
According to the operation support program of the second aspect , in addition to the effect of the first aspect, the image based on the image data displayed on the second display unit is the first display unit of the terminal device and is located outside the software key. Is displayed. As a result, the second program displays the software key managed by the second program on the first display unit independently of the image corresponding to the screen displayed on the external device. Usually, the software key is displayed in a size suitable for performing an input operation on a terminal device equipped with a program for managing the software key. Therefore, since the software key can be used for text input, it is easy to perform text input. In addition, since an image corresponding to the screen displayed on the external device is displayed outside the software key, an input operation using the software key can be performed while checking the entire image.

請求項３記載の操作支援プログラムによれば、請求項１が奏する効果に加え、次の効果を奏する。外部装置から取得される画像データが、外部装置の第２表示部に表示される画面の画像データであるので、端末装置の第１表示部に表示される、テキストの入力を求める画像が、入力操作を行うには適さないサイズになることがあっても、第２プログラムにより管理されるソフトウェアキーを用いてテキスト入力を行うことができるので、テキスト入力を行い易い。
According to the operation support program of claim 3, in addition to the effect of claim 1 , the following effect is provided. Since the image data acquired from the external device is image data of a screen displayed on the second display unit of the external device, an image that is displayed on the first display unit of the terminal device and that requires text input is input. Even if the size is not suitable for the operation, the text input can be performed using the software key managed by the second program, so the text input is easy.

請求項４記載の操作支援プログラムによれば、請求項１から３のいずれかが奏する効果に加え、次の効果を奏する。ソフトウェアキーに対する入力操作に応じたテキスト情報であって、外部装置への出力が未出力であるテキスト情報は、所定のタイミング毎に、記憶部に記憶される。当該記憶部に記憶されるテキスト情報は、第１表示部における所定の位置に対する入力操作が検出されたことを条件として、外部装置に出力される。よって、テキスト情報が、外部装置へ出力するための入力操作が行われるまで記憶部に蓄積されるので、テキストを１つ入力する毎に、当該入力されたテキストが外部装置に出力されることを防止でき、端末装置と外部装置との通信頻度を抑制できる。
According to the operation support program of the fourth aspect , in addition to the effect produced by any one of the first to third aspects , the following effect is produced. The text information corresponding to the input operation to the software key and not output to the external device is stored in the storage unit at every predetermined timing. The text information stored in the storage unit is output to the external device on condition that an input operation for a predetermined position on the first display unit is detected. Therefore, since the text information is accumulated in the storage unit until an input operation for outputting to the external device is performed, every time one text is input, the input text is output to the external device. The frequency of communication between the terminal device and the external device can be suppressed.

請求項５記載の操作支援プログラムによれば、請求項４が奏する効果に加え、次の効果を奏する。記憶部にテキスト情報を記憶するタイミングは、入力操作に応じたテキスト情報を第２プログラムに対して確定する入力操作を検出したタイミングである。よって、例えば、語句や文などの１まとまりの単位でテキスト情報を記憶部に記憶できる。
According to the operation support program of claim 5 , in addition to the effect of claim 4 , the following effect is provided. The timing for storing the text information in the storage unit is the timing at which the input operation for determining the text information corresponding to the input operation for the second program is detected. Therefore, for example, text information can be stored in the storage unit in units of a single unit such as a phrase or sentence.

請求項６記載の操作支援プログラムによれば、請求項４または５が奏する効果に加え、次の効果を奏する。記憶部に記憶されるテキスト情報を外部装置へ出力するための入力操作が割り当てられた位置は、第１表示部に表示される、外部装置に表示される画面に対応する画像の内部に設けられる。よって、第２プログラムにより管理されるソフトウェアキーを用いたテキスト入力を、第１表示部に表示される、外部装置に表示される画面に対する操作に基づき入力したかのような印象を与えることができる。
According to the operation support program of claim 6 , in addition to the effect of claim 4 or 5 , the following effect is provided. The position to which the input operation for outputting the text information stored in the storage unit to the external device is assigned is provided in the image corresponding to the screen displayed on the external device displayed on the first display unit. . Therefore, it is possible to give an impression as if the text input using the software key managed by the second program is input based on the operation on the screen displayed on the external device displayed on the first display unit. .

請求項７記載の操作支援プログラムによれば、請求項４から６のいずれかが奏する効果に加え、次の効果を奏する。記憶部に記憶されるテキスト情報に従うテキストが第１表示部に表示されるので、ソフトウェアキーを用いて入力したテキストの内容を報せることができる。
According to the operation support program of the seventh aspect , in addition to the effect produced by any one of the fourth to sixth aspects, the following effect is produced. Since the text according to the text information stored in the storage unit is displayed on the first display unit, the content of the text input using the software key can be reported.

請求項８記載の操作支援プログラムによれば、請求項７が奏する効果に加え、次の効果を奏する。第１表示部に表示される、外部装置に表示される画面に対応する画像が、テキストの入力フィールドを含む場合には、ソフトウェアキーを用いて入力したテキストの内容が当該入力フィールドに表示される。よって、第２プログラムにより管理されるソフトウェアキーを用いたテキスト入力を、第１表示部に表示される、外部装置に表示される画面に対する操作に基づき入力したかのような操作感を与えることができる。
According to the operation support program of claim 8 , in addition to the effect of claim 7 , the following effect is obtained. When the image corresponding to the screen displayed on the external device displayed on the first display unit includes a text input field, the content of the text input using the software key is displayed on the input field. . Therefore, it is possible to give an operational feeling as if the text input using the software key managed by the second program is input based on the operation on the screen displayed on the external device displayed on the first display unit. it can.

請求項９記載の操作支援プログラムによれば、請求項７または８が奏する効果に加え、次の効果を奏する。第１表示部に表示される、外部装置に表示される画面に対応する画像が、テキストの入力フィールドを含む場合であっても、ソフトウェアキーを用いて入力したテキストの内容が当該入力フィールド内に収まらない場合には、当該テキストが、第１表示部における、外部装置に表示される画面に対応する画像の非表示領域に表示される。よって、入力したテキストの全内容の確認を容易に行わせ得る。
According to the operation support program of claim 9 , in addition to the effect of claim 7 or 8 , the following effect is provided. Even if the image displayed on the first display unit and corresponding to the screen displayed on the external device includes a text input field, the text input using the software key is stored in the input field. If it does not fit, the text is displayed in the non-display area of the image corresponding to the screen displayed on the external device in the first display unit. Therefore, it is possible to easily check the entire contents of the input text.

請求項１０記載の操作支援プログラムによれば、請求項１から９のいずれかが奏する効果に加え、次の効果を奏する。外部装置が有する第２表示部に表示される画面に関する画像データに基づく画像がテキストの入力を求める画像を含むか否かの判断は、外部装置から取得した当該画像データに含まれる情報に基づいて行われる。よって、本操作支援プログラムを搭載する端末装置が上記判断を行うことができる。
According to the operation support program of the tenth aspect , in addition to the effect produced by any one of the first to ninth aspects, the following effect is produced. Whether or not the image based on the image data related to the screen displayed on the second display unit of the external device includes an image for requesting input of text is determined based on information included in the image data acquired from the external device. Done. Therefore, a terminal device equipped with this operation support program can make the above determination.

請求項１１記載の操作支援プログラムによれば、請求項１から１０のいずれかが奏する効果に加え、外部装置が有する第２表示部に表示される画面に適した種類のソフトウェアキーを表示できる。
According to claim 1 1, wherein the operation support program, in addition to the effect any of claims 1 to 10 can be displayed a type of software keys suitable for screen displayed on the second display unit included in the external device .

請求項１２記載の操作支援プログラムによれば、請求項１から１１のいずれかが奏する効果に加え、次の効果を奏する。第２プログラムに対し、ソフトウェアキーの表示を指示した後は、当該第２プログラムに対し、ソフトウェアキーの種類の切り替えを禁止する指示が出力される。よって、第２プログラムが表示したソフトウェアキーが別の種類のソフトウェアキーに切り替えられることを防止でき、これにより、入力不可な種類のテキストが入力されることを防止できる。
According to claim 1 wherein operation support program, in addition to the effect any of claims 1 1 1 of, the following effects. After instructing the second program to display the software key, an instruction to prohibit the switching of the software key type is output to the second program. Therefore, it is possible to prevent the software key displayed by the second program from being switched to another type of software key, and thus it is possible to prevent a type of text that cannot be input from being input.

請求項１３記載の操作支援プログラムによれば、請求項１から１２のいずれかが奏する効果に加え、端末装置に搭載されるオペレーティングシステムを利用して、テキスト入力を行う上で端末装置に適切なサイズのソフトキーボードを容易に表示できる。
According to claim 1 3, wherein operation support program, in addition to the effect any one of claims 1 1 2 of, by using the operating system to be mounted on the terminal device, the terminal device in performing text input An appropriately sized soft keyboard can be displayed easily.

請求項１４記載の操作支援プログラムによれば、請求項１から１３のいずれかが奏する効果に加え、入力操作をタッチパネルに対して行う場合において、テキスト入力を行い易い。
According to claim 1 4, wherein operation support program, in addition to the effect any of claims 1 1 3 of, when performing an input operation on the touch panel, easy to perform text input.

請求項１５記載の端末装置によれば、請求項１記載の操作支援プログラムと同様の効果を奏する。
According to the terminal device of the fifteenth aspect, the same effect as the operation support program according to the first aspect can be obtained .

多機能周辺装置および携帯端末の電気的構成を示すブロック図である。It is a block diagram which shows the electrical structure of a multifunction peripheral device and a portable terminal. 本発明の概略を模式的に説明する図である。It is a figure which illustrates the outline of the present invention typically. 遠隔操作処理を示すフローチャートである。It is a flowchart which shows a remote operation process. タッチ処理を示すフローチャートである。It is a flowchart which shows a touch process. 従来技術に対する課題を説明する図である。It is a figure explaining the subject with respect to a prior art.

以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図１は、多機能周辺装置（以下「ＭＦＰ」と称す）１０、および、ＭＦＰ１０と通信可能な端末２００の電気的構成を示すブロック図である。なお、図１に示す端末２００は、本発明の端末装置の一実施形態である。   Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a block diagram showing an electrical configuration of a multifunction peripheral device (hereinafter referred to as “MFP”) 10 and a terminal 200 that can communicate with the MFP 10. A terminal 200 shown in FIG. 1 is an embodiment of a terminal device of the present invention.

ＭＦＰ１０は、印刷機能、スキャン機能、コピー機能、ファクシミリ機能などの各種機能を有している。ＭＦＰ１０は、操作支援アプリケーション（以下「操作支援アプリ」と称す）２１２ｂを搭載する端末２００からの遠隔操作により各種機能に関わる処理を実行可能に構成される。   The MFP 10 has various functions such as a print function, a scan function, a copy function, and a facsimile function. The MFP 10 is configured to be able to execute processing related to various functions by remote operation from a terminal 200 on which an operation support application (hereinafter referred to as “operation support application”) 212b is mounted.

ＭＦＰ１０には、ＣＰＵ１１、フラッシュメモリ１２、ＲＡＭ１３、操作キー１５、ＬＣＤ１６、タッチパネル１７、スキャナ部１８、プリンタ部１９、ＮＣＵ２０、モデム２１、無線通信部２３が主に設けられている。これらの各部は、入出力ポート２４を介して互いに接続されている。ＣＰＵ１１は、フラッシュメモリ１２に記憶される固定値やプログラム、ＲＡＭ１３に記憶されているデータ、或いは、ＮＣＵ２０を介して送受信される各種信号に従って、ＭＦＰ１０が有している各機能の制御や、入出力ポート２４と接続された各部を制御する。   The MFP 10 is mainly provided with a CPU 11, flash memory 12, RAM 13, operation keys 15, LCD 16, touch panel 17, scanner unit 18, printer unit 19, NCU 20, modem 21, and wireless communication unit 23. These units are connected to each other via the input / output port 24. The CPU 11 controls various functions of the MFP 10 according to fixed values and programs stored in the flash memory 12, data stored in the RAM 13, or various signals transmitted / received via the NCU 20, and input / output Each unit connected to the port 24 is controlled.

フラッシュメモリ１２は、不揮発性のメモリであり、ＭＦＰ１０の動作を制御する制御プログラム１２ａなどが格納される。また、フラッシュメモリ１２には、ＬＣＤ１６に表示する各画面の画像（以下「画面画像」と称す）の画像データが、表示可能な全画面分、準備されている。ＲＡＭ１３は、ＣＰＵ１１が制御プログラム１２ａを実行するにあたり、各種データを一時的に記憶するためのテンポラリエリアを有する書換可能な揮発性のメモリである。   The flash memory 12 is a nonvolatile memory, and stores a control program 12a for controlling the operation of the MFP 10 and the like. In addition, image data of each screen image (hereinafter referred to as “screen image”) displayed on the LCD 16 is prepared in the flash memory 12 for all displayable screens. The RAM 13 is a rewritable volatile memory having a temporary area for temporarily storing various data when the CPU 11 executes the control program 12a.

操作キー１５は、ＭＦＰ１０の筐体に設けられるメカニカルキーであり、各種の設定値や指示などをユーザから受け付ける。ＬＣＤ１６は、液晶表示装置であり、各種画面を表示する。ＬＣＤ１６の画面には、タッチパネル１７がＬＣＤ１６に重ねて設けられる。タッチパネル１７は、例えば、指や棒などの指示体がＬＣＤ１６の画面に対してタッチ又は近づいた場合に、タッチ又は近づいた位置を検知し、検知した位置をＭＦＰ１０に入力する。スキャナ部１８は、原稿を読み取って画像データに変換する。プリンタ部１９は、画像データに基づく画像を記録用紙に印刷する。モデム２１は、ＦＡＸ送信時には送信すべき画像データを、電話回線網（図示せず）に伝送可能な信号に変調してＮＣＵ２０を介して送信し、または、電話回線網からＮＣＵ２０を介して入力された信号を画像データに復調する。ＮＣＵ２０は、図示されない電話回線網とＭＦＰ１０との間を接続するものであり、モデム２１からの指示に従って、回線を閉結または切断することにより、電話回線網との間の接続状態を制御する。   The operation key 15 is a mechanical key provided on the casing of the MFP 10 and accepts various setting values and instructions from the user. The LCD 16 is a liquid crystal display device and displays various screens. A touch panel 17 is provided on the LCD 16 so as to overlap the LCD 16. For example, when an indicator such as a finger or a stick touches or approaches the screen of the LCD 16, the touch panel 17 detects the touched or approached position and inputs the detected position to the MFP 10. The scanner unit 18 reads a document and converts it into image data. The printer unit 19 prints an image based on the image data on a recording sheet. The modem 21 modulates image data to be transmitted at the time of FAX transmission into a signal that can be transmitted to a telephone line network (not shown) and transmits the signal via the NCU 20 or is input from the telephone line network via the NCU 20. The received signal is demodulated into image data. The NCU 20 connects a telephone line network (not shown) and the MFP 10, and controls the connection state with the telephone line network by closing or disconnecting the line according to an instruction from the modem 21.

無線通信部２３は、無線ＬＡＮによる無線通信を行うためのインタフェースである。本実施形態では、無線通信部２３が行う通信は、ＩＥＥＥ８０２．１１ｂ／ｇ／ｎの規格に準拠した無線ＬＡＮによる無線通信である。本実施形態において、無線通信部２３は、中継装置であるアクセスポイント（以下「ＡＰ」と称す）５０を介するインフラストラクチャーモードによって、端末２００との間でＷｉ−Ｆｉ（登録商標）規格に基づいた無線通信（以下「Ｗｉ−Ｆｉ通信」と称す）により接続される。   The wireless communication unit 23 is an interface for performing wireless communication using a wireless LAN. In the present embodiment, the communication performed by the wireless communication unit 23 is wireless communication based on a wireless LAN compliant with the IEEE802.11b / g / n standard. In the present embodiment, the wireless communication unit 23 is based on the Wi-Fi (registered trademark) standard with the terminal 200 in an infrastructure mode via an access point (hereinafter referred to as “AP”) 50 that is a relay device. The connection is established by wireless communication (hereinafter referred to as “Wi-Fi communication”).

本実施形態の端末２００は、タブレット端末である。端末２００には、ＣＰＵ２１１、フラッシュメモリ２１２、ＲＡＭ２１３、操作キー２１５、ＬＣＤ２１６、タッチパネル２１７、メモリカードインタフェース（メモリカードＩ／Ｆ）２１８、無線通信部２２３が主に設けられる。これらの各部は、入出力ポート２２４を介して互いに接続されている。ＣＰＵ２１１は、ＲＯＭ２１２等に記憶される固定値やプログラム等に従って入出力ポート２２４と接続された各部を制御する。   The terminal 200 of this embodiment is a tablet terminal. The terminal 200 is mainly provided with a CPU 211, a flash memory 212, a RAM 213, an operation key 215, an LCD 216, a touch panel 217, a memory card interface (memory card I / F) 218, and a wireless communication unit 223. These units are connected to each other via an input / output port 224. The CPU 211 controls each unit connected to the input / output port 224 according to a fixed value, a program, or the like stored in the ROM 212 or the like.

フラッシュメモリ２１２は、書換可能な不揮発性のメモリである。フラッシュメモリ２１２には、オペレーティングシステム２１２ａ、操作支援アプリ２１２ｂが格納される。なお、以下では「オペレーティングシステム」を「ＯＳ」と称することがある。また、以下では、アプリケーションやオペレーティングシステムなどのプログラムを実行するＣＰＵ２１１のことを、単にプログラム名で記載する場合もある。例えば「アプリケーション」という記載が「アプリケーションを実行するＣＰＵ２１１」を意味する場合もある。ＯＳ２１２ａは、端末２００の標準機能を実現するための基本ソフトウェアである。本実施形態では、ＯＳ２１２ａの一例として、アンドロイド（登録商標）ＯＳを採用する。   The flash memory 212 is a rewritable nonvolatile memory. The flash memory 212 stores an operating system 212a and an operation support application 212b. Hereinafter, the “operating system” may be referred to as “OS”. In the following description, the CPU 211 that executes a program such as an application or an operating system may be simply described by a program name. For example, the description “application” may mean “CPU 211 executing the application”. The OS 212a is basic software for realizing the standard functions of the terminal 200. In this embodiment, an Android (registered trademark) OS is adopted as an example of the OS 212a.

操作支援アプリ２１２ｂは、ＭＦＰ１０などのデバイスを遠隔操作するためのアプリケーションプログラムである。操作支援アプリ２１２ｂは、ユーザによって端末２００にインストールされ、端末２００から、対応するデバイスの遠隔操作を可能にする。なお、後述する図３および図４のフローチャートに示す各処理は、ＣＰＵ２１１が操作支援アプリ２１２ｂに従い実行する処理である。   The operation support application 212b is an application program for remotely operating a device such as the MFP 10. The operation support application 212b is installed in the terminal 200 by the user, and enables remote operation of the corresponding device from the terminal 200. Each process shown in the flowcharts of FIGS. 3 and 4 to be described later is a process executed by the CPU 211 in accordance with the operation support application 212b.

操作キー２１５は、端末２００の筐体に設けられるメカニカルキーであり、各種の設定値や指示などをユーザから受け付ける。ＬＣＤ２１６、タッチパネル２１７、メモリカードＩ／Ｆ２１８、および無線通信部２２３は、それぞれ、上述したＬＣＤ１６、タッチパネル１７、メモリカードＩ／Ｆ１８、および無線通信部２３と同様のものである。   The operation key 215 is a mechanical key provided on the casing of the terminal 200, and accepts various setting values and instructions from the user. LCD 216, touch panel 217, memory card I / F 218, and wireless communication unit 223 are the same as LCD 16, touch panel 17, memory card I / F 18, and wireless communication unit 23, respectively.

図２を参照して、本発明の概略を説明する。操作支援アプリ２１２ｂは、ＭＦＰ１０から受信した画像データに基づく画像、すなわち、ＭＦＰ１０のＬＣＤ１６に表示中の画面画像に相当する画像を、ＬＣＤ２１６に表示させる。よって、図２（ａ）に示すように、ＬＣＤ１６に表示中の画面画像に相当する画像Ｇａが、端末２００のＬＣＤ２１６に表示される。そして、ユーザが、タッチパネル２１７を介して、ＬＣＤ２１６に表示された画像Ｇａに対するタッチ操作（所謂「タップ操作」）を行った場合、操作支援アプリ２１２ｂは、操作された位置に応じた座標をＭＦＰ１０に送信し、ＭＦＰ１０は、端末２００から受信した座標に応じた処理を実行する。これにより、ＭＦＰ１０を端末２００から遠隔操作することができる。   The outline of the present invention will be described with reference to FIG. The operation support application 212 b causes the LCD 216 to display an image based on the image data received from the MFP 10, that is, an image corresponding to the screen image being displayed on the LCD 16 of the MFP 10. Accordingly, as shown in FIG. 2A, an image Ga corresponding to the screen image being displayed on the LCD 16 is displayed on the LCD 216 of the terminal 200. When the user performs a touch operation (so-called “tap operation”) on the image Ga displayed on the LCD 216 via the touch panel 217, the operation support application 212b gives the MFP 10 coordinates corresponding to the operated position. The MFP 10 executes the process according to the coordinates received from the terminal 200. Thereby, the MFP 10 can be remotely operated from the terminal 200.

特に、本実施形態の操作支援アプリ２１２ｂは、ＬＣＤ１６に表示中の画面に、アルファベット入力用のキーボードなど、テキストの入力を求める画像（以下「テキスト入力画像」と称す）が表示されている場合、ＯＳ２１２ａに、ＯＳ２１２ａが管理するソフトウェアキーボード（以下「ソフトキーボード」と称す）ＫをＬＣＤ２１６に表示させる。なお、ソフトキーボードは、ＬＣＤ２１６などの画面に表示される仮想的なキーボードであり、テキストを入力するための複数の仮想的なソフトウェアキーを含む。   In particular, when the operation support application 212b of the present embodiment displays an image (hereinafter referred to as “text input image”) for requesting input of text, such as an alphabet input keyboard, on the screen being displayed on the LCD 16, A software keyboard (hereinafter referred to as “soft keyboard”) K managed by the OS 212 a is displayed on the LCD 216 on the OS 212 a. The soft keyboard is a virtual keyboard displayed on a screen such as the LCD 216, and includes a plurality of virtual software keys for inputting text.

よって、ＭＦＰ１０のＬＣＤ１６に、テキスト入力画像を含む画面、すなわち、テキスト入力を求める画面が表示されている場合には、端末２００のＬＣＤ２１６にはソフトキーボードＫが表示されるので、ＭＦＰ１０に入力するためのテキストを、ソフトキーボードＫを用いて入力できる。通常、ソフトキーボードＫは、端末２００にてタッチ操作による入力操作を行うのに適したサイズで表示されるので、テキストの入力を行い易い。   Therefore, when a screen including a text input image, that is, a screen for text input is displayed on the LCD 16 of the MFP 10, the soft keyboard K is displayed on the LCD 216 of the terminal 200. Can be input using the soft keyboard K. Normally, the soft keyboard K is displayed in a size suitable for performing an input operation by a touch operation on the terminal 200, so that it is easy to input text.

本実施形態の操作支援アプリ２１２ｂは、ＬＣＤ１６に表示中の画面に、キーボードなど、テキスト入力画像が表示されている場合、当該テキスト入力画像を用いて入力可能な文字種に応じたソフトキーボードＫをＬＣＤ２１６に表示する。そして、操作支援アプリ２１２ｂは、入力可能な文字種に制限がある場合、ＯＳ２１２ａに文字種の切り替えを禁止するよう指示する。   When a text input image such as a keyboard is displayed on the screen being displayed on the LCD 16, the operation support application 212 b of the present embodiment displays a soft keyboard K corresponding to the character type that can be input using the text input image on the LCD 216. To display. Then, the operation support application 212b instructs the OS 212a to prohibit the switching of the character type when there are restrictions on the character types that can be input.

図２（ａ）に示す例では、ＬＣＤ２１６に表示される画像Ｇａには、文字種を切り替えるための切替キーＰを含むキーボードが含まれている。つまり、ＬＣＤ２１６には、アルファベットと数字の両方を入力可能なキーボードを含む画面画像に相当する画像Ｇａが表示されている。本実施形態では、かかる場合に、入力可能な文字種に制限がないとし、操作支援アプリ２１２ｂは、ＯＳ２１２ａに対し、文字種の切り替えを禁止する指示を行わない。よって、かかる場合、ＯＳ２１２ａは、文字種を切り替えるための切替キーＫａがタッチ操作された場合に、ソフトキーボードＫの文字種を当該操作に応じた文字種に切り替える。   In the example shown in FIG. 2A, the image Ga displayed on the LCD 216 includes a keyboard including a switching key P for switching the character type. That is, the LCD 216 displays an image Ga corresponding to a screen image including a keyboard capable of inputting both alphabets and numbers. In this embodiment, in such a case, it is assumed that there are no restrictions on the character types that can be input, and the operation support application 212b does not instruct the OS 212a to prohibit character type switching. Therefore, in this case, when the switching key Ka for switching the character type is touched, the OS 212a switches the character type of the soft keyboard K to the character type corresponding to the operation.

これに対し、ＬＣＤ１６にて表示されているキーボードにて入力可能な文字種が、数字のみやアルファベットのみなどに制限されている場合、操作支援アプリ２１２ｂは、ＯＳ２１２ａに対し、文字種の切り替えを禁止する指示を行う。よって、かかる場合、ＯＳ２１２ａは、切替キーＫａが操作されたとしても、ソフトキーボードＫの文字種の切り替えを行わない。これにより、例えば、ＬＣＤ１６に表示されているキーボードが数字のみを入力可能である場合に、アルファベットなど、ＬＣＤ１６に表示されているキーボードに対し入力不可の文字種が入力されることを防止できる。   On the other hand, when the character types that can be entered on the keyboard displayed on the LCD 16 are limited to only numbers or only alphabets, the operation support application 212b instructs the OS 212a to prohibit character type switching. I do. Therefore, in this case, the OS 212a does not switch the character type of the soft keyboard K even if the switching key Ka is operated. Thereby, for example, when the keyboard displayed on the LCD 16 can input only numbers, it is possible to prevent a character type that cannot be input to the keyboard displayed on the LCD 16 such as an alphabet.

図２（ａ）に示す画像Ｇａには、入力されたテキストを表示するためのフィールドである入力フィールドＦが表示されている。つまり、ＬＣＤ２１６に表示される画像Ｇａは、ＭＦＰ１０のＬＣＤ１６に表示される、入力フィールドを含むテキスト入力画像に相当する画像である。かかる場合、本実施形態の操作支援アプリ２１２ｂは、図２（ａ）に示すように、ソフトキーボードＫを用いて入力されたテキストＴを入力フィールドＦの内部に重ねて表示する。よって、ソフトキーボードＫを用いて入力したテキストＴを、画像Ｇａに対するタッチ操作に基づき入力したかのように見せることができる。これにより、ソフトキーボードＫを用いたテキスト入力を、ＭＦＰ１０の遠隔操作と関連付けた操作として印象付けることができる。   In the image Ga shown in FIG. 2A, an input field F, which is a field for displaying input text, is displayed. That is, the image Ga displayed on the LCD 216 is an image corresponding to a text input image including an input field displayed on the LCD 16 of the MFP 10. In such a case, the operation support application 212b of the present embodiment displays the text T input using the soft keyboard K so as to overlap the input field F as shown in FIG. Therefore, it is possible to make it appear as if the text T input using the soft keyboard K is input based on a touch operation on the image Ga. As a result, text input using the soft keyboard K can be impressed as an operation associated with the remote operation of the MFP 10.

ただし、図２（ｂ）に示すように、操作支援アプリ２１２ｂは、テキストＴの長さが、入力フィールドＦに収まらない長さである場合には、テキストＴを、ＬＣＤ２１６における画像Ｇａが表示されていない領域Ａに表示する。入力フィールドＦに収まらないテキストＴを、入力フィールドＦの内部に重ねて表示させた場合、テキストＴ全体の内容を把握し難い。これに対し、テキストＴの長さが、入力フィールドＦに収まらない長さである場合、テキストＴを領域Ａに表示することにより、テキストＴを見易い状態で提示できる。   However, as illustrated in FIG. 2B, the operation support application 212b displays the text T as the image Ga on the LCD 216 when the length of the text T does not fit in the input field F. Display in the area A that is not. When the text T that does not fit in the input field F is displayed in an overlapping manner inside the input field F, it is difficult to grasp the entire contents of the text T. On the other hand, when the length of the text T does not fit in the input field F, the text T can be presented in an easy-to-see state by displaying the text T in the area A.

また、本実施形態の操作支援アプリ２１２ｂは、ソフトキーボードＫを用いてテキストを入力する場合に、確定キーＫｂが操作されたことを条件として、確定キーＫｂが操作されるまでに入力されたテキストであって、ＭＦＰ１０に未送信のテキストを、ＲＡＭ２１６に記憶する。よって、確定キーＫｂの操作がされる毎の、語句や文などの１まとまりの単位で確定されたテキストが、ＲＡＭ２１６に蓄積される。   Further, when the operation support application 212b of the present embodiment inputs text using the soft keyboard K, the text input until the confirmation key Kb is operated on condition that the confirmation key Kb is operated. The text that has not been transmitted to the MFP 10 is stored in the RAM 216. Therefore, each time the confirmation key Kb is operated, the text confirmed in a unit of a unit such as a phrase or a sentence is accumulated in the RAM 216.

そして、操作支援アプリ２１２ｂは、画像Ｇａに対するタッチ操作が行われたことを条件として、ＲＡＭ２１６に記憶されているテキスト、すなわち、確定キーＫｂにより確定された未送信のテキストを、ＭＦＰ１０に送信する。よって、操作支援アプリ２１２ｂによれば、入力されたテキストが１文字ずつ送信されないので、その分、端末２００とＭＦＰ１０との通信頻度を抑制できる。   Then, the operation support application 212b transmits, to the MFP 10, the text stored in the RAM 216, that is, the untransmitted text confirmed by the confirmation key Kb on the condition that the touch operation on the image Ga is performed. Therefore, according to the operation support application 212b, since the input text is not transmitted character by character, the communication frequency between the terminal 200 and the MFP 10 can be suppressed accordingly.

なお、本実施形態において、確定キーＫｂは、ソフトキーボードＫに対して入力されたテキストの確定をＯＳ２１２ａに指示するキーであり、リターンキーやＯＫキーなど、別の名称で呼ばれることもある。   In this embodiment, the confirmation key Kb is a key for instructing the OS 212a to confirm the text input to the soft keyboard K, and may be called with another name such as a return key or an OK key.

図３は、端末２００のＣＰＵ２１１が実行する、遠隔操作処理を示すフローチャートである。本処理は、ＭＦＰ１０を遠隔操作するための処理である。操作支援アプリ２１２ｂが起動されたことに伴って開始される。なお、当該遠隔操作処理に先立ち、遠隔操作の対象となるＭＦＰ１０を、遠隔操作が有効になるよう設定しておく。ＣＰＵ２１１は、遠隔操作が有効に設定されたＭＦＰ１０を検索させ、検索されたＭＦＰ１０に対し、接続要求を、無線通信部２２３を介するＷｉ−Ｆｉ通信で送信する（Ｓ３０１）。ＣＰＵ２１１は、遠隔操作の対象となるＭＦＰ１０との接続中であることを示す表示を、ＬＣＤ２１６に表示する（Ｓ３０２）。ＣＰＵ２１１は、ＭＦＰ１０から、ＬＣＤ１６に表示中の画面画像に対応する画面情報を受信することを待機する（Ｓ３０３：Ｎｏ）。   FIG. 3 is a flowchart showing remote operation processing executed by the CPU 211 of the terminal 200. This process is a process for remotely operating the MFP 10. It starts when the operation support application 212b is activated. Prior to the remote operation process, the MFP 10 to be remotely operated is set so that the remote operation is enabled. The CPU 211 searches for the MFP 10 in which the remote operation is enabled, and transmits a connection request to the searched MFP 10 by Wi-Fi communication via the wireless communication unit 223 (S301). The CPU 211 displays on the LCD 216 a display indicating that it is connected to the MFP 10 to be remotely operated (S302). The CPU 211 stands by for receiving screen information corresponding to the screen image being displayed on the LCD 16 from the MFP 10 (S303: No).

「画面情報」は、ＬＣＤ１６に表示中の画面画像の画像データと、当該画像データに関する付属データとから構成される。本実施形態では、画面画像の画像データは、画面画像そのもののビットマップデータである。付属データは、例えば、画面画像が、テキスト入力画像を含むことを示す情報（以下「入力画面情報」と称す）などである。なお、画面画像のビットマップデータは、ＬＣＤ１６に表示中の画面を構成する部品単位であってもよく、かかる場合には、付属データとして、各部品のビットマップデータを配置する配置座標を含む。また、画像データは、ビットマップデータに限らず、ＪＰＥＧデータなどの他のデータ形式の画像データや、ＨＴＭＬデータであってもよい。なお、画像データが、ＨＴＭＬデータから構成される場合、付属データは、ＨＴＭＬデータに含まれるタグ情報を採用できる。 The “screen information” includes image data of a screen image being displayed on the LCD 16 and attached data related to the image data. In the present embodiment, the image data of the screen image is bitmap data of the screen image itself. The attached data is, for example, information indicating that the screen image includes a text input image (hereinafter referred to as “input screen information”). Note that the bitmap data of the screen image may be in units of components constituting the screen being displayed on the LCD 16, and in such a case, arrangement coordinates for arranging the bitmap data of each component are included as attached data. The image data is not limited to bitmap data, and may be image data in other data formats such as JPEG data or HTML data. In addition, when image data is comprised from HTML data, tag information contained in HTML data can be employ | adopted for attached data.

端末２００とＭＦＰ１０との接続が完了し、ＣＰＵ２１１は、ＭＦＰ１０から画面情報を受信した場合（Ｓ３０３：Ｙｅｓ）、ＣＰＵ２１１は、受信した画面情報を解析し、当該画面情報に含まれる画像データおよび付属データをＲＡＭ２１３の所定領域に記憶する（Ｓ３０４）。ＣＰＵ２１１は、受信した画像情報に含まれる画像データに基づき、ＬＣＤ１６に表示されていた画面画像に相当する画像を、ＬＣＤ２１６の上部に表示する（Ｓ３０５）。Ｓ３０５および後述するＳ３１０の処理によってＬＣＤ２１６に表示された画像は、所定の操作に応じて適宜拡大または縮小できる。   When the connection between the terminal 200 and the MFP 10 is completed and the CPU 211 receives screen information from the MFP 10 (S303: Yes), the CPU 211 analyzes the received screen information, and includes image data and attached data included in the screen information. Is stored in a predetermined area of the RAM 213 (S304). Based on the image data included in the received image information, the CPU 211 displays an image corresponding to the screen image displayed on the LCD 16 on the upper portion of the LCD 216 (S305). The image displayed on the LCD 216 by the processing of S305 and S310 described later can be appropriately enlarged or reduced according to a predetermined operation.

ＣＰＵ２１１は、入力フラグをオフに設定する（Ｓ３０６）。「入力フラグ」は、ソフトキーボード、つまり、ＯＳ２１２ａが管理するソフトキーボードを用いたテキストの入力中であることを示すフラグであり、ＲＡＭ２１３に設けられる。入力フラグがオンに設定されている場合、ソフトキーボードを用いたテキストの入力中であることを示す。   The CPU 211 sets the input flag to OFF (S306). The “input flag” is a flag indicating that text is being input using a soft keyboard, that is, a soft keyboard managed by the OS 212 a, and is provided in the RAM 213. When the input flag is set to ON, it indicates that text is being input using the soft keyboard.

次に、ＣＰＵ２１１は、イベントの取得を待機する（Ｓ３０７：Ｎｏ）。ＣＰＵ２１１がイベントを取得した場合（Ｓ３０７：Ｙｅｓ）、当該イベントが、ＭＦＰ１０から画像情報を取得したことを示すイベントである場合（Ｓ３０８：Ｙｅｓ）、ＣＰＵ２１１は、Ｓ３０４およびＳ３０５の処理と同様に、受信した画面画像の解析および記憶と、画面画像の表示とを実行する（Ｓ３０９，Ｓ３１０）。   Next, the CPU 211 waits for acquisition of an event (S307: No). When the CPU 211 acquires an event (S307: Yes), when the event is an event indicating that image information has been acquired from the MFP 10 (S308: Yes), the CPU 211 receives the same as the processing of S304 and S305. The screen image is analyzed and stored, and the screen image is displayed (S309, S310).

ＣＰＵ２１１は、ＭＦＰ１０のＬＣＤ１６に表示中の画面が、テキスト入力を求める画面であるかを判断する（Ｓ３１１）。ＣＰＵ２１１は、Ｓ３１１の判断を、受信した画像情報に含まれる付属データに基づいて行う。具体的に、受信した画像情報に、付属データとして、入力画面情報が含まれている場合、ＣＰＵ２１１は、Ｓ３１１の判断を肯定する。一方、受信した画像情報に入力画面情報が含まれていない場合、ＣＰＵ２１１は、Ｓ３１１の判断を否定する。ＣＰＵ２１１が、Ｓ３１１の判断を否定した場合（Ｓ３１１：Ｎｏ）、ＣＰＵ２１１は、処理をＳ３０７に移行する。   The CPU 211 determines whether the screen being displayed on the LCD 16 of the MFP 10 is a screen for text input (S311). The CPU 211 performs the determination in S311 based on the attached data included in the received image information. Specifically, when the received image information includes input screen information as attached data, the CPU 211 affirms the determination in S311. On the other hand, when the input image information is not included in the received image information, the CPU 211 denies the determination in S311. If the CPU 211 denies the determination of S311 (S311: No), the CPU 211 proceeds to S307.

ＣＰＵ２１１が、Ｓ３１１の判断を肯定した場合、すなわち、ＬＣＤ１６に表示中の画面が、テキスト入力を求める画面である場合（Ｓ３１１：Ｙｅｓ）、ＣＰＵ２１１は、入力可能な文字種に制限があるかを判断する（Ｓ３１２）。ＣＰＵ２１１は、Ｓ３１２の判断を、受信した画像情報に含まれる付属データに基づいて行う。具体的に、受信した画像情報に、付属データとして、テキスト入力を求める画面において入力可能な文字種に制限があることを示す情報（以下「制限情報」と称す）が含まれている場合、ＣＰＵ２１１は、Ｓ３１２の判断を肯定する。一方、受信した画像情報に制限情報が含まれていない場合、ＣＰＵ２１１は、Ｓ３１２の判断を否定する。   If the CPU 211 affirms the determination in S311, that is, if the screen being displayed on the LCD 16 is a screen for text input (S311: Yes), the CPU 211 determines whether there are restrictions on the character types that can be input. (S312). The CPU 211 makes the determination in S312 based on the attached data included in the received image information. Specifically, when the received image information includes, as ancillary data, information indicating that there is a restriction on the character types that can be input on the screen for text input (hereinafter referred to as “restriction information”), the CPU 211 , S312 is affirmed. On the other hand, if the received image information does not include restriction information, the CPU 211 denies the determination of S312.

ＣＰＵ２１１が、Ｓ３１２の判断を否定した場合、すなわち、テキスト入力を求める画面において入力可能な文字種に制限がない場合（Ｓ３１２：Ｎｏ）、ＣＰＵ２１１は、ＯＳ２１２ａに対し、全てのキーを入力可能なソフトキーボードを表示するよう指示する（Ｓ３２１）。Ｓ３２１の処理の結果、ＯＳ２１２ａは、全てのキー、すなわち、アルファベットおよび数字の両方を入力可能なソフトキーボードをＬＣＤ２１６に表示する。全てのキーを入力可能なソフトキーボードとしては、例えば、図２（ａ）に示す、切替キーＫａによる文字種を切り替え可能なソフトキーボードＫが例示される。あるいは、全てのキーを入力可能なソフトキーボードは、アルファベット入力用のソフトキーと、数字入力用のソフトキーが同時にＬＣＤ２１６に表示されるタイプのものであってもよい。ＣＰＵ２１１は、Ｓ３２１の処理後、入力フラグをオンに設定し（Ｓ３１６）、処理をＳ３０７に移行する。   When the CPU 211 denies the determination of S312, that is, when there are no restrictions on the character types that can be input on the screen for text input (S312: No), the CPU 211 can input all keys to the OS 212a. Is displayed (S321). As a result of the processing of S321, the OS 212a displays on the LCD 216 a soft keyboard capable of inputting all the keys, that is, both alphabets and numbers. As a soft keyboard capable of inputting all the keys, for example, a soft keyboard K shown in FIG. 2A capable of switching the character type by the switch key Ka is exemplified. Alternatively, the soft keyboard capable of inputting all the keys may be of a type in which soft keys for alphabet input and soft keys for numerical input are displayed on the LCD 216 at the same time. After the process of S321, the CPU 211 sets the input flag to ON (S316), and the process proceeds to S307.

一方で、ＣＰＵ２１１が、Ｓ３１２の判断を肯定した場合、すなわち、テキスト入力を求める画面において入力可能な文字種に制限がある場合（Ｓ３１２：Ｙｅｓ）、ＣＰＵ２１１は、入力可能な文字種に関する判断を行う（Ｓ３１３）。本実施形態では、画像情報に制限情報が含まれる場合、当該画像情報には、入力可能な文字種を示す情報、すなわち、表示対象とするソフトウェアキーの種類を特定する情報（以下「特定情報」と称す）を、付属データとして含む。よって、ＣＰＵ２１１は、当該特定情報に基づいて、Ｓ３１３の判断を行う。   On the other hand, when the CPU 211 affirms the determination of S312, that is, when there are restrictions on the character types that can be input on the screen for text input (S312: Yes), the CPU 211 makes a determination regarding the character types that can be input (S313). ). In the present embodiment, when restriction information is included in image information, the image information includes information indicating character types that can be input, that is, information specifying the type of software key to be displayed (hereinafter referred to as “specific information”). Included) as ancillary data. Therefore, the CPU 211 performs the determination in S313 based on the specific information.

ＣＰＵ２１１が、特定情報に基づき、入力可能な文字種が数字のみであると判断した場合（Ｓ３１３：数字）、ＣＰＵ２１１は、ＯＳ２１２ａに対し、数字入力用のソフトキーボードを表示するよう指示する（Ｓ３１４）。数字入力用のソフトキーボードとしては、例えば、切替キーによる文字種を切り替え可能なソフトキーボードのうち、数字入力用のソフトキーボードが例示される。数字入力専用のソフトキーボードであってもよい。Ｓ３１４の処理の結果、ＯＳ２１２ａは、数字入力用のソフトキーボードをＬＣＤ２１６に表示する。   When the CPU 211 determines based on the specific information that the character type that can be input is only numbers (S313: numbers), the CPU 211 instructs the OS 212a to display a software keyboard for inputting numbers (S314). Examples of the numerical input soft keyboard include a numerical input soft keyboard among soft keyboards capable of switching the character type by the switching key. A soft keyboard dedicated to numeric input may be used. As a result of the processing of S314, the OS 212a displays a numeric keyboard for inputting numbers on the LCD 216.

本実施形態では、ＬＣＤ１６に表示される画面が、例えば、コピー枚数の増減を指定する＋（プラス）ボタンまたは−（マイナス）ボタンを含む場合、当該画面を、テキスト入力を求める画面とみなす。従って、＋ボタンまたは−ボタンを含む画面がＬＣＤ１６に表示されている場合、ＭＦＰ１０は、制限情報および特定情報を付属データとして端末２００に送信する。より詳細には、ＭＦＰ１０は、特定情報として、入力可能な文字種が数字のみであることを示す情報を送信する。よって、本実施形態では、＋ボタンまたは−ボタンを含む画面がＬＣＤ１６に表示されている場合、ＣＰＵ２１１は、Ｓ３１４の処理を実行し、その結果、数字入力用のソフトキーボードがＬＣＤ２１６に表示される。   In the present embodiment, when the screen displayed on the LCD 16 includes, for example, a + (plus) button or a − (minus) button for designating increase / decrease of the number of copies, the screen is regarded as a screen for text input. Therefore, when the screen including the + button or the − button is displayed on the LCD 16, the MFP 10 transmits the restriction information and the specific information to the terminal 200 as attached data. More specifically, the MFP 10 transmits information indicating that the character type that can be input is only numbers as the specific information. Therefore, in the present embodiment, when the screen including the + button or the − button is displayed on the LCD 16, the CPU 211 executes the process of S 314, and as a result, the soft keyboard for inputting numbers is displayed on the LCD 216.

Ｓ３１３において、ＣＰＵ２１１が、特定情報に基づき、入力可能な文字種がアルファベットのみであると判断した場合（Ｓ３１３：アルファベット）、ＣＰＵ２１１は、ＯＳ２１２ａに対し、アルファベット入力用のソフトキーボードを表示するよう指示する（Ｓ３２０）。アルファベット入力用のソフトキーボードとしては、例えば、切替キーによる文字種を切り替え可能なソフトキーボードのうち、アルファベット入力用のソフトキーボードが例示される。アルファベット入力専用のソフトキーボードであってもよい。Ｓ３２０の処理の結果、ＯＳ２１２ａは、アルファベット入力用のソフトキーボードをＬＣＤ２１６に表示する。   In S313, when the CPU 211 determines that the character type that can be input is only alphabet based on the specific information (S313: alphabet), the CPU 211 instructs the OS 212a to display a soft keyboard for alphabet input ( S320). Examples of the alphabet input soft keyboard include, for example, an alphabet input soft keyboard among soft keyboards capable of switching character types by a switching key. A soft keyboard dedicated to alphabet input may be used. As a result of the process of S320, the OS 212a displays a soft keyboard for alphabet input on the LCD 216.

Ｓ３１２〜Ｓ３１４，Ｓ３２０，Ｓ３２１の処理によれば、ＭＦＰ１０から受信した付属データとして含まれる、制限情報および特定情報に応じた文字種のソフトキーボードが表示される。つまり、ＭＦＰ１０のＬＣＤ１６に表示されている画面に適した文字種のソフトキーボードが表示される。よって、ＬＣＤ１６に表示されている画面に適した文字種のテキストを、ＬＣＤ２１６に表示されたソフトキーボードを用いて入力できる。   According to the processing of S312 to S314, S320, and S321, the soft keyboard of the character type corresponding to the restriction information and the specific information included as the attached data received from the MFP 10 is displayed. That is, a soft keyboard of a character type suitable for the screen displayed on the LCD 16 of the MFP 10 is displayed. Therefore, text of a character type suitable for the screen displayed on the LCD 16 can be input using the soft keyboard displayed on the LCD 216.

なお、Ｓ３１２の判断は、ＣＰＵ２１１が、特定情報の有無によって行われる構成としてもよい。すなわち、ＣＰＵ２１１は、受信した画像情報に、特定情報を付属データとして含む場合に、Ｓ３１２の判断を肯定する一方で、特定情報を含まない場合に、Ｓ３１２の判断を否定する構成としてもよい。   Note that the determination in S312 may be performed by the CPU 211 based on the presence or absence of specific information. That is, the CPU 211 may be configured to affirm the determination of S312 when the received image information includes the specific information as the attached data, and deny the determination of S312 when the specific information is not included.

ＣＰＵ２１１は、Ｓ３１４またはＳ３２０の処理後、ＯＳ２１２ａに対し、ソフトキーボードの文字種の切り替えを禁止するよう指示し（Ｓ３１５）、処理をＳ３１６に移行する。Ｓ３１５の処理の結果、例えば、図２（ａ）に示す切替キーＫａに対する操作が行われたとしても、ＯＳ２１２ａは、文字種の切り替えを行わない。これにより、表示中のソフトキーボードが維持され、ＬＣＤ１６に表示中の画面に対し入力不可の文字種が入力されることを防止できる。   After the processing of S314 or S320, the CPU 211 instructs the OS 212a to prohibit the switching of the character type of the soft keyboard (S315), and the processing proceeds to S316. As a result of the processing in S315, for example, even if an operation is performed on the switching key Ka shown in FIG. 2A, the OS 212a does not switch the character type. Thereby, the soft keyboard being displayed is maintained, and it is possible to prevent a character type that cannot be input from being input to the screen being displayed on the LCD 16.

ＣＰＵ２１１が取得したイベントが、タッチイベント、すなわち、指などの指示体が移動を伴わずタッチパネル２１７に接触したことを示すイベントである場合（Ｓ３０８：Ｎｏ，Ｓ３１７：Ｙｅｓ）、ＣＰＵ２１１は、タッチされた位置に応じた処理を実行するタッチ処理を実行し（Ｓ３１８）、処理をＳ３０７に移行する。タッチ処理（Ｓ３１８）の詳細な処理については、図４を参照して後述する。   When the event acquired by the CPU 211 is a touch event, that is, an event indicating that an indicator such as a finger has touched the touch panel 217 without moving (S308: No, S317: Yes), the CPU 211 has been touched. A touch process for executing a process according to the position is executed (S318), and the process proceeds to S307. Detailed processing of the touch processing (S318) will be described later with reference to FIG.

ＣＰＵ２１１が取得したイベントが、タッチイベント以外のイベント、例えば、取得したイベントが、接触イベントの１つであるドラッグイベント、すなわち、指示体がタッチパネル１７に接触したまま移動したことを示すドラッグイベントや、タッチパネル１７に接触していた指示体が離上したことを示すリリースイベントなどである場合（Ｓ３１７：Ｎｏ）、ＣＰＵ２１１は、その他の処理として、取得したイベントに応じた処理を実行し（Ｓ３１９）、処理をＳ３０７に移行する。Ｓ３１９の処理は、周知の処理であり、本発明に関係しない処理であるので、詳細な処理の説明は省略する。   The event acquired by the CPU 211 is an event other than a touch event, for example, a drag event in which the acquired event is one of the contact events, that is, a drag event indicating that the indicator has moved while touching the touch panel 17, When the release event or the like indicates that the indicator touching the touch panel 17 has been lifted (S317: No), the CPU 211 executes processing according to the acquired event as other processing (S319), The process proceeds to S307. Since the process of S319 is a well-known process and is not related to the present invention, a detailed description of the process is omitted.

図４は、上述したタッチ処理（Ｓ３１８）を示すフローチャートである。ＣＰＵ２１１は、ＬＣＤ２１６上にてタッチされた位置が、ＭＦＰ１０のＬＣＤ１６に表示中の画面画像に相当する画像（以下、この画像を「ＭＦＰ１０の画面画像」と称することがある）上であるかを判断する（Ｓ４０１）。ＬＣＤ２１６上にてタッチされた位置がＭＦＰ１０の画面画像でないと、ＣＰＵ２１１が判断した場合（Ｓ４０１：Ｎｏ）、ＣＰＵ２１１は、入力フラグがオンに設定されているかを判断する（Ｓ４０８）。入力フラグがオフに設定されているとＣＰＵ２１１が判断した場合（Ｓ４０８：Ｎｏ）、ＣＰＵ２１１は、本処理を終了する。   FIG. 4 is a flowchart showing the touch process (S318) described above. CPU 211 determines whether the touched position on LCD 216 is on an image corresponding to a screen image being displayed on LCD 16 of MFP 10 (hereinafter, this image may be referred to as “screen image of MFP 10”). (S401). When the CPU 211 determines that the touched position on the LCD 216 is not the screen image of the MFP 10 (S401: No), the CPU 211 determines whether the input flag is set to ON (S408). When the CPU 211 determines that the input flag is set to OFF (S408: No), the CPU 211 ends this process.

一方、入力フラグがオンに設定されているとＣＰＵ２１１が判断した場合（Ｓ４０８：Ｙｅｓ）、ＣＰＵ２１１は、ソフトキーボードがタッチされたかを判断する（Ｓ４０９）。具体的に、ＣＰＵ２１１が、タッチイベントに続いて、ソフトキーボードのキーが操作されたことを示すイベントを取得した場合、ＣＰＵ２１１は、Ｓ４０９の判断を肯定する。その一方で、ＣＰＵ２１１が、タッチイベントに続き、ソフトキーボードのキーが操作されたことを示すイベントを取得しない場合、ＣＰＵ２１１は、Ｓ４０９の判断を否定する。ＣＰＵ２１１がＳ４０９の判断を否定した場合（Ｓ４０９：Ｎｏ）、ＣＰＵ２１１は、本処理を終了する。   On the other hand, when the CPU 211 determines that the input flag is set to ON (S408: Yes), the CPU 211 determines whether the soft keyboard has been touched (S409). Specifically, when the CPU 211 acquires an event indicating that a key of the soft keyboard has been operated following the touch event, the CPU 211 affirms the determination in S409. On the other hand, when the CPU 211 does not acquire an event indicating that the key of the soft keyboard has been operated following the touch event, the CPU 211 denies the determination of S409. When the CPU 211 denies the determination of S409 (S409: No), the CPU 211 ends this process.

ＣＰＵ２１１が、Ｓ４０９の判断を肯定した場合（Ｓ４０９：Ｙｅｓ）、ＣＰＵ２１１は、ソフトキーボードにおいて操作されたキーが確定キーであるかを判断する（Ｓ４１０）。当該判断は、ソフトキーボードのキーが操作されたことを示すイベントが、どのキーを操作したことを示すものかに応じて判断する。なお、Ｓ４１０における「確定キー」は、例えば、図２（ａ）に示す確定キーＫｂである。   When the CPU 211 affirms the determination in S409 (S409: Yes), the CPU 211 determines whether the key operated on the soft keyboard is a confirmation key (S410). The determination is made according to which key indicates that the event indicating that the key of the soft keyboard has been operated. The “confirmation key” in S410 is, for example, the confirmation key Kb shown in FIG.

ソフトキーボードにおいて操作されたキーが確定キーでなく、それ以外のキーであると、ＣＰＵ２１１が判断した場合（Ｓ４１０：Ｎｏ）、ＣＰＵ２１１は、本処理を終了する。なお、ソフトキーボードが操作された場合、ＯＳ２１２ａは、その都度、当該操作によって入力されたテキストを、所定の記憶部（例えば、ＲＡＭ２１３）に記憶することによって更新する。   When the CPU 211 determines that the key operated on the soft keyboard is not the confirmation key but other keys (S410: No), the CPU 211 ends this process. When the soft keyboard is operated, the OS 212a updates the text input by the operation by storing the text in a predetermined storage unit (for example, the RAM 213) each time.

一方、ソフトキーボードにおいて操作されたキーが確定キーであると、ＣＰＵ２１１が判断した場合（Ｓ４１０：Ｙｅｓ）、ＣＰＵ２１１は、確定キーが操作されるまで入力されたテキストを、確定されたテキストとして、ＲＡＭ２１３に記憶する（Ｓ４１１）。つまり、ソフトキーボードが操作される毎にＯＳ２１２ａが記憶したテキストを、確定されたテキストとして、ＲＡＭ２１３に記憶する。   On the other hand, when the CPU 211 determines that the key operated on the soft keyboard is the confirmation key (S410: Yes), the CPU 211 sets the text input until the confirmation key is operated as the confirmed text in the RAM 213. (S411). That is, each time the soft keyboard is operated, the text stored by the OS 212a is stored in the RAM 213 as a confirmed text.

なお、確定されたテキストであり、かつ、ＭＦＰ１０に未だ送信されていないテキストがＲＡＭ２１３に既に記憶されている場合には、今回確定キーにより確定されたテキストを、先に記憶されているテキストにおける当該確定されたテキストを挿入すべき位置に追加する。Ｓ４１１において、確定されたテキストの記憶先は、フラッシュメモリ２１２などであってもよい。   If the text that has been confirmed and has not yet been transmitted to the MFP 10 is already stored in the RAM 213, the text confirmed by the current confirmation key is changed to the text stored in the previous text. Add the confirmed text to the position where it should be inserted. In S411, the determined text storage destination may be the flash memory 212 or the like.

ＣＰＵ２１１は、ＭＦＰ１０の画面画像が入力フィールドを含むかを判断する（Ｓ４１２）。ＣＰＵ２１１は、Ｓ４１２の判断を、ＬＣＤ２１６に表示されているＭＦＰ１０の画面画像に対応する画像情報に含まれていた付属データに、入力フィールドを含むことを示す情報（以下「入力フィールド情報」と称す）があるか否かに応じて行う。つまり、Ｓ３１０にてＲＡＭ２１３に記憶された解析結果の中に、入力フィールド情報が記憶されている場合、ＣＰＵ２１１は、Ｓ４１２の判断を肯定する。一方で、入力フィールド情報がＲＡＭ２１３に記憶されていない場合。ＣＰＵ２１１は、Ｓ４１２の判断を否定する。   The CPU 211 determines whether the screen image of the MFP 10 includes an input field (S412). The CPU 211 determines that the determination in S412 is information indicating that the attached data included in the image information corresponding to the screen image of the MFP 10 displayed on the LCD 216 includes an input field (hereinafter referred to as “input field information”). Depending on whether there is. That is, when the input field information is stored in the analysis result stored in the RAM 213 in S310, the CPU 211 affirms the determination in S412. On the other hand, when input field information is not stored in the RAM 213. The CPU 211 denies the determination in S412.

ＣＰＵ２１１がＳ４１２の判断を肯定した場合、すなわち、ＭＦＰ１０の画面画像が入力フィールドを含む場合（Ｓ４１２：Ｙｅｓ）、ＣＰＵ２１１は、入力されたテキスト、すなわち、確定キーにより確定されたテキストが、ＭＦＰ１０の画面画像に含まれる入力フィールドに収まるかを判断する（Ｓ４１３）。ＬＣＤ２１６に表示されているＭＦＰ１０の画面画像に対応する画像情報に含まれていた付属データ、より詳細には、入力フィールドのサイズを示す情報（以下「サイズ情報」と称す）と、確定キーにより確定されたテキストの文字数とに基づいて行う。   When the CPU 211 affirms the determination in S <b> 412, i.e., when the screen image of the MFP 10 includes an input field (S <b> 412: Yes), the CPU 211 determines that the input text, i.e. It is determined whether or not the input field is included in the image (S413). The attached data included in the image information corresponding to the screen image of the MFP 10 displayed on the LCD 216, more specifically, information indicating the size of the input field (hereinafter referred to as “size information”) and the confirmation key are confirmed. Based on the number of characters in the text.

具体的に、ＣＰＵ２１１は、サイズ情報に基づき、入力フィールドに収まり得る文字数を決定し、決定された文字数と、確定キーにより確定されたテキストの文字数を比較する。そして、確定キーにより確定されたテキストの文字数が、入力フィールドに収まり得る文字数以下であれば、ＣＰＵ２１１は、Ｓ４１３の判断を肯定する。一方、確定キーにより確定されたテキストの文字数が、入力フィールドに収まり得る文字数を超える場合、ＣＰＵ２１１は、Ｓ４１３の判断を否定する。   Specifically, the CPU 211 determines the number of characters that can be accommodated in the input field based on the size information, and compares the determined number of characters with the number of characters of the text that has been determined by the enter key. If the number of characters of the text confirmed by the confirmation key is equal to or less than the number of characters that can fit in the input field, the CPU 211 affirms the determination in S413. On the other hand, if the number of characters of the text confirmed by the confirmation key exceeds the number of characters that can fit in the input field, the CPU 211 denies the determination in S413.

ＣＰＵ２１１がＳ４１３の判断を肯定した場合、すなわち、確定キーにより確定されたテキストが入力フィールドに収まる場合（Ｓ４１３：Ｙｅｓ）、ＣＰＵ２１１は、確定キーにより確定されたテキスト、すなわち、ＲＡＭ２１３に記憶されているテキストを、入力フィールドに重ねて表示し（Ｓ４１４）、本処理を終了する。Ｓ４１４の処理の結果、図２（ａ）の例に示すように、テキストＴが、入力フィールドＦの内部に表示される。   When the CPU 211 affirms the determination of S413, that is, when the text confirmed by the confirm key fits in the input field (S413: Yes), the CPU 211 stores the text confirmed by the confirm key, that is, the RAM 213. The text is displayed so as to overlap the input field (S414), and this process is terminated. As a result of the processing of S414, the text T is displayed inside the input field F as shown in the example of FIG.

ＣＰＵ２１１がＳ４１３の判断を否定した場合、すなわち、確定キーにより確定されたテキストが入力フィールドに収まらない場合（Ｓ４１３：Ｎｏ）、ＣＰＵ２１１は、確定されたテキストを、ＬＣＤ２１６における、ＭＦＰ１０の画面画像が表示されていない領域に表示し（Ｓ４１５）、本処理を終了する。Ｓ４１５の処理の結果、例えば、図２（ｂ）に示すように、テキストＴがＬＣＤ２１６の領域Ａに表示される。ＣＰＵ２１１がＳ４１２の判断を否定した場合、すなわち、ＭＦＰ１０の画面画像が入力フィールドを含まない場合もまた（Ｓ４１２：Ｎｏ）、ＣＰＵ２１１は、Ｓ４１５の処理を実行する。   When the CPU 211 denies the determination of S413, that is, when the text confirmed by the confirmation key does not fit in the input field (S413: No), the CPU 211 displays the confirmed text on the screen image of the MFP 10 on the LCD 216. It displays in the area which is not done (S415), ends this processing. As a result of the processing in S415, for example, as shown in FIG. 2B, the text T is displayed in the area A of the LCD 216. When the CPU 211 denies the determination of S412, that is, when the screen image of the MFP 10 does not include an input field (S412: No), the CPU 211 executes the process of S415.

Ｓ４１４，Ｓ４１５の処理によれば、確定キーにより確定されたテキストがＬＣＤ２１６に表示されるので、ソフトキーボードを用いて入力されたテキストの内容を報せることができる。特に、Ｓ４１４の処理によれば、ＭＦＰ１０の画面画像が入力フィールドを含み、かつ、確定キーにより確定されたテキストが、当該入力フィールドに収まる場合には、確定されたテキストが、入力フィールドの内部に重ねて表示される。よって、ＯＳ２１２ａが管理するソフトキーボードを用いて入力したテキストを、ＭＦＰ１０の画面画像に対する操作に基づき入力したかのように見せることができる。   According to the processing of S414 and S415, the text confirmed by the confirmation key is displayed on the LCD 216, so that the contents of the text input using the soft keyboard can be reported. In particular, according to the processing of S414, when the screen image of the MFP 10 includes an input field and the text confirmed by the confirmation key fits in the input field, the confirmed text is placed inside the input field. Overlaid. Therefore, it is possible to make it appear as if the text input using the soft keyboard managed by the OS 212 a is input based on the operation on the screen image of the MFP 10.

その一方で、Ｓ４１５の処理によれば、確定されたテキストが入力フィールドに収まらない場合には、当該テキストが、ＬＣＤ２１６上の、ＭＦＰ１０の画面画像が表示されていない領域に表示されるので、入力したテキストの全てを確認し易い状態で提示できる。   On the other hand, according to the process of S415, if the confirmed text does not fit in the input field, the text is displayed on the LCD 216 in an area where the screen image of the MFP 10 is not displayed. Can be presented in an easy-to-confirm state.

また、Ｓ４１５の処理によれば、ＭＦＰ１０の画面画像が入力フィールドを含まない場合であっても、入力したテキストがＬＣＤ２１６に表示されるので、入力したテキストの内容を確認させることができる。なお、入力フィールドＦを含まない例としては、ＬＣＤ１６に表示される画面が、入力フィールドを含まないキーボードの画面である場合や、＋ボタンまたは−ボタンによりコピー枚数などの数値の増減を行う画面である場合、などが例示される。   Further, according to the processing of S415, even if the screen image of the MFP 10 does not include an input field, the input text is displayed on the LCD 216, so that the content of the input text can be confirmed. As an example that does not include the input field F, when the screen displayed on the LCD 16 is a keyboard screen that does not include the input field, or a screen that increases or decreases the numerical value such as the number of copies by the + button or the − button. In some cases, etc. are exemplified.

Ｓ４０１において、ＬＣＤ２１６上にてタッチされた位置がＭＦＰ１０の画面画像であると、ＣＰＵ２１１が判断した場合（Ｓ４０１：Ｙｅｓ）、ＣＰＵ２１１は、タッチされた位置の座標を、ＬＣＤ１６の画面における座標（以下「ＭＦＰ画面座標」と称す）に変換する（Ｓ４０２）。   If the CPU 211 determines that the touched position on the LCD 216 is the screen image of the MFP 10 in S401 (S401: Yes), the CPU 211 determines the coordinates of the touched position on the screen of the LCD 16 (hereinafter “ (Referred to as “MFP screen coordinates”) (S402).

Ｓ４０２の変換は、ＬＣＤ２１６に表示されるＭＦＰ１０の画面画像の、等倍画像に対する拡縮倍率Ｚを用いて行う。拡縮倍率Ｚは、等倍画像に対する現在の画像のサイズ比であり、拡縮倍率Ｚが１である場合、ＬＣＤ２１６に表示されているＭＦＰ１０の画面画像が等倍画像であることを示す。本実施形態では、Ｓ３０３またはＳ３０８においてＭＦＰ１０から受信した画像情報に含まれる画像データに基づく画像を、等倍画像とする。ＭＦＰ１０の画面画像が、等倍画像に対して縮小されている場合、拡縮倍率Ｚは１より小さい値となり、等倍画像に対して拡大されている場合、拡縮倍率は１より大きい値となる。拡縮倍率Ｚは、ＲＡＭ２１６に記憶される。ＬＣＤ２１６に表示される画像が拡大または縮小される毎に算出され、その都度、ＲＡＭ２１６に記憶される値が更新される。   The conversion in S402 is performed using the enlargement / reduction ratio Z of the screen image of the MFP 10 displayed on the LCD 216 with respect to the same size image. The enlargement / reduction ratio Z is the size ratio of the current image with respect to the same-size image. When the enlargement / reduction ratio Z is 1, it indicates that the screen image of the MFP 10 displayed on the LCD 216 is an equal-size image. In the present embodiment, an image based on the image data included in the image information received from the MFP 10 in S303 or S308 is assumed to be a normal size image. When the screen image of the MFP 10 is reduced with respect to the same size image, the enlargement / reduction ratio Z is a value smaller than 1, and when the screen image is enlarged with respect to the same size image, the enlargement / reduction ratio becomes a value larger than 1. The enlargement / reduction ratio Z is stored in the RAM 216. The value is calculated each time the image displayed on the LCD 216 is enlarged or reduced, and the value stored in the RAM 216 is updated each time.

Ｓ４０２において、ＣＰＵ２１１は、タッチされた位置の座標を拡縮倍率Ｚで割ることにより、ＭＦＰ画面座標を算出する。つまり、タッチされた位置の座標（Ｘ１，Ｙ１）である場合、Ｓ４０２にて変換された後の座標、すなわち、ＭＦＰ画面座標は（Ｘ１／Ｚ，Ｙ１／Ｚ）である。   In step S <b> 402, the CPU 211 calculates MFP screen coordinates by dividing the coordinates of the touched position by the enlargement / reduction ratio Z. That is, in the case of the coordinates (X1, Y1) of the touched position, the coordinates after the conversion in S402, that is, the MFP screen coordinates are (X1 / Z, Y1 / Z).

ＣＰＵ２１１は、Ｓ４０２の処理後、入力フラグがオンに設定されているかを判断する（Ｓ４０３）。入力フラグがオフに設定されているとＣＰＵ２１１が判断した場合（Ｓ４０３：Ｎｏ）、ＣＰＵ２１１は、Ｓ４０２にて変換された後の座標（以下「変換後の座標」と称す）を、ＷＩ−Ｆｉ通信によりＭＦＰ１０に送信する（Ｓ４１６）。Ｓ４１６の処理の結果、ＭＦＰ１０のＣＰＵ１１は、端末２００から受信した座標に応じた処理を実行する。次に、ＣＰＵ２１１は、Ｓ３０２と同様、遠隔操作の対象となるＭＦＰ１０との接続中であることを示す表示を、ＬＣＤ２１６に表示し（Ｓ４０７）、本処理を終了する。   After the process of S402, the CPU 211 determines whether the input flag is set to ON (S403). When the CPU 211 determines that the input flag is set to OFF (S403: No), the CPU 211 uses the coordinates after the conversion in S402 (hereinafter referred to as “the coordinates after conversion”) for WI-Fi communication. Is transmitted to the MFP 10 (S416). As a result of the process of S416, the CPU 11 of the MFP 10 executes a process according to the coordinates received from the terminal 200. Next, as in S302, the CPU 211 displays on the LCD 216 a display indicating that it is connected to the MFP 10 that is the target of remote operation (S407), and ends this process.

一方、入力フラグがオンに設定されているとＣＰＵ２１１が判断した場合、すなわち、ソフトキーボードを用いたテキストの入力中である場合（Ｓ４０３：Ｙｅｓ）、ＣＰＵ２１１は、ＲＡＭ２１３に記憶されているテキスト、すなわち、確定されたテキストと、変換後の座標とを、ＷＩ−Ｆｉ通信によりＭＦＰ１０に送信する（Ｓ４０４）。Ｓ４０４の処理の結果、ＭＦＰ１０のＣＰＵ１１は、端末２００から受信した座標に応じた処理を実行するとともに、ＬＣＤ２１６に表示されるソフトキーボードを用いて入力したテキストを受け付ける。   On the other hand, when the CPU 211 determines that the input flag is set to ON, that is, when the text is being input using the soft keyboard (S403: Yes), the CPU 211 stores the text stored in the RAM 213, that is, The confirmed text and the converted coordinates are transmitted to the MFP 10 by WI-Fi communication (S404). As a result of the processing of S404, the CPU 11 of the MFP 10 executes processing according to the coordinates received from the terminal 200 and accepts text input using the soft keyboard displayed on the LCD 216.

Ｓ４０４の処理によれば、ソフトキーボードを用いてテキストが入力された場合、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像がタッチされたことを条件として、入力されたテキストが、ＭＦＰ１０に送信される。よって、ＯＳ２１２ａが管理するソフトキーボードを用いて入力したテキストを、ＭＦＰ１０の画面画像に対する操作に基づき入力したかのような操作感を与えることができる。これにより、ソフトキーボードを用いたテキスト入力を、ＭＦＰ１０の遠隔操作と関連付けた操作として印象付けることができる。また、テキストが１つ入力される毎に、端末２００とＭＦＰ１０との通信が行われないので、端末２００とＭＦＰ１０との通信が完了するまで待機する必要がなく、効率よくテキスト入力を行い得る。   According to the process of S404, when text is input using the soft keyboard, the input text is transmitted to the MFP 10 on the condition that the screen image of the MFP 10 displayed on the LCD 216 is touched. Therefore, it is possible to give an operational feeling as if the text input using the soft keyboard managed by the OS 212 a is input based on the operation on the screen image of the MFP 10. As a result, text input using the soft keyboard can be impressed as an operation associated with the remote operation of the MFP 10. Further, since communication between the terminal 200 and the MFP 10 is not performed every time one text is input, it is not necessary to wait until the communication between the terminal 200 and the MFP 10 is completed, and the text can be input efficiently.

ＣＰＵ２１１は、ＲＡＭ２１３に記憶されているテキスト、すなわち、Ｓ４０４にてＭＦＰ１０に送信したテキストを消去する（Ｓ４０５）。ＣＰＵ２１１は、入力中フラグをオフに設定し（Ｓ４０６）、処理をＳ４０７に移行する。   The CPU 211 deletes the text stored in the RAM 213, that is, the text transmitted to the MFP 10 in S404 (S405). The CPU 211 sets the input flag to OFF (S406), and the process proceeds to S407.

本実施形態の操作支援アプリ２１２ｂによれば、ＭＦＰ１０を遠隔操作する場合に、テキスト入力を、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像でなく、ＯＳ２１２ａが管理するソフトキーボードを用いて行うことができる。よって、当該ソフトキーボードを用いてテキストの入力を行うことができるので、端末２００からＭＦＰ１０の遠隔操作を行う場合に、テキストの入力を行い易い。   According to the operation support application 212b of the present embodiment, when the MFP 10 is remotely operated, text input can be performed using the soft keyboard managed by the OS 212a instead of the screen image of the MFP 10 displayed on the LCD 216. Therefore, since text can be input using the soft keyboard, it is easy to input text when the MFP 200 is remotely operated from the terminal 200.

上記実施形態において、操作支援アプリ２１２ｂが、操作支援プログラムの一例である。端末２００が、端末装置の一例である。ＭＦＰ１０が、外部装置の一例である。ＣＰＵ２１１が、制御部の一例である。ＬＣＤ２１６が、第１表示部の一例である。タッチパネル２１７が、入力部の一例である。無線通信部２２３が、通信部の一例である。ＲＡＭ２１６が、記憶部の一例である。ＬＣＤ１６が、第２表示部の一例である。ＯＳ２１２ａが、第２プログラムの一例である。ソフトキーボードＫが、ソフトウェアキーの一例である。入力フィールドＦが、入力フィールドの一例である。制限情報または特定情報が、テキストの入力を求める画像を含む情報の一例である。特定情報が、特定情報の一例である。   In the above embodiment, the operation support application 212b is an example of an operation support program. The terminal 200 is an example of a terminal device. The MFP 10 is an example of an external device. The CPU 211 is an example of a control unit. The LCD 216 is an example of a first display unit. The touch panel 217 is an example of an input unit. The wireless communication unit 223 is an example of a communication unit. The RAM 216 is an example of a storage unit. The LCD 16 is an example of a second display unit. The OS 212a is an example of a second program. The soft keyboard K is an example of a software key. The input field F is an example of the input field. The restriction information or the specific information is an example of information including an image for requesting input of text. Specific information is an example of specific information.

Ｓ３０８の処理を実行するＣＰＵ２１１が、画像取得手段の一例である。Ｓ３１０の処理を実行するＣＰＵ２１１が、画像表示手段の一例である。Ｓ４１６の処理を実行するＣＰＵ２１１が、第１情報出力手段の一例である。Ｓ３１１の処理を実行するＣＰＵ２１１が、第１判断手段の一例である。Ｓ３１４、Ｓ３２０，Ｓ３２１の処理を実行するＣＰＵ２１１が、表示指示手段の一例である。Ｓ４０４の処理を実行するＣＰＵ２１１が、第２情報表示手段の一例である。Ｓ４１１の処理を実行するＣＰＵ２１１が、記憶手段の一例である。Ｓ４１５，Ｓ４１６の処理を実行するＣＰＵ２１１が、テキスト表示手段の一例である。Ｓ４１３の処理を実行するＣＰＵ２１１が、第２判断手段の一例である。Ｓ３１５の処理を実行するＣＰＵ２１１が、禁止指示手段の一例である。   The CPU 211 that executes the process of S308 is an example of an image acquisition unit. The CPU 211 that executes the process of S310 is an example of an image display unit. The CPU 211 that executes the process of S416 is an example of a first information output unit. The CPU 211 that executes the process of S311 is an example of a first determination unit. The CPU 211 that executes the processes of S314, S320, and S321 is an example of a display instruction unit. The CPU 211 that executes the process of S404 is an example of a second information display unit. The CPU 211 that executes the process of S411 is an example of a storage unit. The CPU 211 that executes the processes of S415 and S416 is an example of a text display unit. The CPU 211 that executes the process of S413 is an example of a second determination unit. The CPU 211 that executes the process of S315 is an example of a prohibition instruction unit.

以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。   Although the present invention has been described based on the embodiments, the present invention is not limited to the above-described embodiments, and various improvements and modifications can be easily made without departing from the spirit of the present invention. Can be inferred.

例えば、上記実施形態では、本発明の端末装置として、タブレット端末である端末２００を例示したが、パーソナルコンピュータや、スマートフォンや、携帯電話や、デジタルカメラや、携帯音楽再生装置などであっても、本発明の端末装置の一例となり得る。上記実施形態では、ＯＳ１２ａとして、アンドロイドＯＳを例示したが、他のＯＳを採用してもよい。上記実施形態では、遠隔操作用の画像に対するタッチ操作をタッチパネル２１７が検出する構成としたが、マウスなどのポインティングデバイスを用いて、遠隔操作用の画像に対する操作を行う構成であっても、本発明を適用できる。   For example, in the above-described embodiment, the terminal 200 that is a tablet terminal is illustrated as the terminal device of the present invention, but a personal computer, a smartphone, a mobile phone, a digital camera, a portable music playback device, or the like may be used. It can be an example of the terminal device of the present invention. In the above embodiment, the Android OS is exemplified as the OS 12a, but another OS may be adopted. In the above embodiment, the touch panel 217 detects a touch operation on a remote operation image. However, the present invention may be applied to a configuration in which an operation for a remote operation image is performed using a pointing device such as a mouse. Can be applied.

上記実施形態では、ＭＦＰ１０と端末２００との間の通信を、ＡＰ５０を介するインフラストラクチャーモードでのＷｉ−Ｆｉ通信を例示したが、直接接続であるアドホックモードでのＷｉ−Ｆｉ通信であっても、本発明を適用できる。あるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの他の通信方法であっても、本発明を適用できる。上記実施形態では、本発明の端末装置による遠隔操作の対象となる外部装置として、多機能周辺装置であるＭＦＰ１０を例示したが、スキャナ装置や、プリンタ装置などの単機能を有する装置や、画像や音楽を再生するための装置などであってもよい。   In the above-described embodiment, the communication between the MFP 10 and the terminal 200 is exemplified by the Wi-Fi communication in the infrastructure mode via the AP 50. However, even in the Wi-Fi communication in the ad hoc mode that is a direct connection, The present invention can be applied. Alternatively, the present invention can be applied to other communication methods such as Bluetooth (registered trademark). In the above embodiment, the MFP 10 which is a multi-function peripheral device is exemplified as an external device to be remotely operated by the terminal device of the present invention, but a single-function device such as a scanner device or a printer device, an image, It may be a device for playing music.

上記実施形態では、ＭＦＰ１０は、ＬＣＤ１６に表示中の画面画像の画像データとして、当該画面画像のビットマップデータを送信し、端末２００は、当該ビットマップデータに基づき、ＬＣＤ１６に表示中の画面画像をＬＣＤ２１６に表示する構成とした。これに代えて、ＭＦＰ１０は、ＬＣＤ１６に表示中の画面画像を特定する情報、例えば、画面ＩＤを送信し、端末２００は、受信した画面ＩＤに応じた画面画像をＬＣＤ２１６に表示する構成としてもよい。本変形例では、端末２００には、ＭＦＰ１０のＬＣＤ１６に表示可能な全ての画面に対応するビットマップデータなどの画像データが記憶されるとともに、操作支援アプリ２１２ｂが、ＭＦＰ１０から受信可能な画面ＩＤの各々に対し、記憶されている画像データを関連付けるテーブルを有している。本変形例では、画面ＩＤが、特許請求の範囲における「第２表示部に表示される画面に関する画像データ」に対応する。   In the above embodiment, the MFP 10 transmits bitmap data of the screen image as image data of the screen image being displayed on the LCD 16, and the terminal 200 displays the screen image being displayed on the LCD 16 based on the bitmap data. The display is made on the LCD 216. Instead, the MFP 10 may transmit information specifying a screen image being displayed on the LCD 16, for example, a screen ID, and the terminal 200 may display a screen image corresponding to the received screen ID on the LCD 216. . In the present modification, the terminal 200 stores image data such as bitmap data corresponding to all screens that can be displayed on the LCD 16 of the MFP 10, and the operation support application 212 b has screen IDs that can be received from the MFP 10. Each has a table associating stored image data. In this modification, the screen ID corresponds to “image data relating to the screen displayed on the second display unit” in the claims.

上記実施形態では、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像がタッチされた場合、ＣＰＵ２１１は、Ｓ４０４またはＳ４１６において、当該タッチされた位置に応じた座標、より詳細には、Ｓ４０２においてタッチされた位置の座標から変換されたＭＦＰ画面座標を、ＭＦＰ１０に送信する構成とした。上記実施形態では、ＭＦＰ画面座標が、特許請求の範囲の「操作情報」に対応する。   In the above-described embodiment, when the screen image of the MFP 10 displayed on the LCD 216 is touched, the CPU 211 determines in S404 or S416 the coordinates corresponding to the touched position, more specifically, the position touched in S402. The MFP screen coordinates converted from the coordinates are transmitted to the MFP 10. In the above embodiment, the MFP screen coordinates correspond to “operation information” in the claims.

これに代えて、ＣＰＵ２１１は、タッチされた位置に応じた指示コマンドを、操作情報として、ＭＦＰ１０に送信する構成としてもよい。具体的に、本変形例では、操作支援アプリ２１２ｂが、ＭＦＰ画面座標と、指示コマンドとを関連付けるテーブルを有し、Ｓ４０２においてタッチされた位置の座標から変換されたＭＦＰ画面座標に対応する指示コマンドを、ＭＦＰ１０に送信する。本変形例では、指示コマンドが、特許請求の範囲の「操作情報」に対応する。   Instead of this, the CPU 211 may be configured to transmit an instruction command corresponding to the touched position to the MFP 10 as operation information. Specifically, in the present modification, the operation support application 212b has a table that associates the MFP screen coordinates with the instruction commands, and the instruction commands corresponding to the MFP screen coordinates converted from the coordinates of the position touched in S402. Is transmitted to the MFP 10. In this modification, the instruction command corresponds to “operation information” in the claims.

上記実施形態では、ＭＦＰ１０のＬＣＤ１６に表示される画面にテキスト入力画像が表示されている場合に、ＣＰＵ２１１は、ＯＳ２１２ａに対し、ソフトキーボードを表示させるよう指示する構成とした。これに代えて、ＣＰＵ２１１は、ソフトキーボードを表示可能なアプリケーションを起動し、当該起動されたアプリケーションにソフトキーボードをＬＣＤ２１６に表示させる構成としてよい。本変形例では、ソフトキーボードを表示可能なアプリケーションが、特許請求の範囲の「第２プログラム」に対応する。   In the above embodiment, when a text input image is displayed on the screen displayed on the LCD 16 of the MFP 10, the CPU 211 instructs the OS 212a to display a soft keyboard. Instead of this, the CPU 211 may be configured to activate an application capable of displaying a soft keyboard and display the soft keyboard on the LCD 216 in the activated application. In this modification, the application that can display the soft keyboard corresponds to the “second program” in the claims.

上記実施形態では、ＣＰＵ２１１は、ＭＦＰ１０から受信した画像情報に、付属データとして入力画面情報が含まれる場合に、ＭＦＰ１０のＬＣＤ１６に表示される画面が、テキスト入力を求める画面であると判断する構成とした。これに代えて、画像情報に含まれるビットマップデータなどの画像データに対する画像解析に基づいて、ＭＦＰ１０のＬＣＤ１６に表示される画面が、テキスト入力を求める画面であるか否かを判断する構成としてもよい。また、入力可能な文字種の判断や、入力フィールドの有無の判断や、入力フィールドのサイズの取得などもまた、画像データに対する画像解析に基づいて行う構成としてもよい。   In the above embodiment, the CPU 211 determines that the screen displayed on the LCD 16 of the MFP 10 is a screen for text input when the image information received from the MFP 10 includes input screen information as attached data. did. Alternatively, it may be configured to determine whether the screen displayed on the LCD 16 of the MFP 10 is a screen for text input based on image analysis on image data such as bitmap data included in the image information. Good. Further, the determination of the character types that can be input, the determination of the presence / absence of the input field, the acquisition of the size of the input field, and the like may be performed based on image analysis on the image data.

上記実施形態では、図２として、画像ＧａとソフトキーボードＫとが重なることなく表示された場合を例示したが、これらが重なって表示されてもよい。また、スマートフォンなど、タブレット端末ほど大きくはないＬＣＤを有する端末を、本発明の端末装置として採用した場合には、ＭＦＰ１０の画面画像をバックグランドに表示し、ソフトキーボードをフォアグランドに表示する構成としてもよい。上記実施形態では、入力可能な文字種として、かな文字を考慮していないが、入力可能な文字種にかな文字が含まれる場合には、かな文字入力用のソフトキーボードをＬＣＤ２１６に表示させてもよい。   In the above embodiment, the case where the image Ga and the soft keyboard K are displayed without overlapping as illustrated in FIG. 2 is illustrated, but they may be displayed overlapping each other. Further, when a terminal having an LCD that is not as large as a tablet terminal, such as a smartphone, is adopted as the terminal device of the present invention, the screen image of the MFP 10 is displayed in the background, and the soft keyboard is displayed in the foreground. Also good. In the above embodiment, kana characters are not considered as inputable character types, but when the inputable character types include kana characters, a soft keyboard for inputting kana characters may be displayed on the LCD 216.

上記実施形態では、確定キーがタッチされた場合に、当該確定キーの操作によって確定されたテキストをＲＡＭ２１３に記憶する構成としたが、入力されたテキストを、ＲＡＭ２１３に記憶するタイミングとしては、確定キーを操作したタイミングに限定されない。例えば、スペースキーなどの特定のキーが操作されたタイミングを利用してもよい。あるいは、ソフトキーボードを用いてテキストが入力される毎に、１文字ずつ、ＲＡＭ２１３に記憶してもよい。また、上記実施形態では、入力されたテキストを、ＬＣＤ２１６に表示するタイミングについても、確定キーがタッチされたタイミング以外に、１文字ずつなど、適宜のタイミングを採用できる。上記実施形態では、テキストをＲＡＭ２１３に記憶するタイミングと、テキストをＬＣＤ２１６に表示するタイミングとを同じタイミングとしたが、テキストの記憶と表示とで各々異なるタイミングとしてもよい。   In the above embodiment, when the confirmation key is touched, the text confirmed by the operation of the confirmation key is stored in the RAM 213. However, as the timing of storing the input text in the RAM 213, the confirmation key is used. It is not limited to the timing of operating. For example, a timing when a specific key such as a space key is operated may be used. Alternatively, each time text is input using a soft keyboard, one character may be stored in the RAM 213. In the above embodiment, the timing for displaying the input text on the LCD 216 can be set at an appropriate timing, such as one character at a time, in addition to the timing when the confirmation key is touched. In the above embodiment, the timing for storing the text in the RAM 213 and the timing for displaying the text on the LCD 216 are the same timing. However, different timings may be used for storing and displaying the text.

上記実施形態では、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像がタッチされたことを条件として、ソフトキーボードを用いて入力されたテキストをＭＦＰ１０に送信する構成としたが、入力されたテキストをＭＦＰ１０に送信するタイミングとしては、上記画面画像がタッチされたタイミングに限定されない。例えば、ソフトキーボードにおける確定キーなどがタッチされたタイミングや、ＭＦＰ１０の画面画像以外の領域がタッチされたタイミングなど、適宜のタイミングを採用できる。上記実施形態では、Ｓ４０４にて、確定されたテキストとともに、Ｓ４０２にて変換後の座標の座標をＭＦＰ１０に送信する構成としたが、確定されたテキストだけをＭＦＰ１０に送信する構成としてもよい。   In the above embodiment, the text input using the soft keyboard is transmitted to the MFP 10 on the condition that the screen image of the MFP 10 displayed on the LCD 216 is touched. However, the input text is transmitted to the MFP 10. The timing to perform is not limited to the timing when the screen image is touched. For example, an appropriate timing such as a timing when a confirmation key or the like on the soft keyboard is touched or a timing when an area other than the screen image of the MFP 10 is touched can be adopted. In the above embodiment, the coordinate of the coordinate after conversion is transmitted to the MFP 10 together with the text confirmed in S404. However, only the confirmed text may be transmitted to the MFP 10.

上記実施形態では、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像がタッチされたことを条件として、ソフトキーボードを用いて入力されたテキストをＭＦＰ１０に送信する構成としたが、ＬＣＤ２１６に表示されたＭＦＰ１０の画面画像内の特定の領域、具体的には、入力したテキストを確定するＯＫボタンが表示される領域がタッチされたことを条件として、入力されたテキストをＭＦＰ１０に送信する構成としてもよい。かかる場合、この条件判断をＳ４０４で行い、肯定判断された場合にＳ４０５に処理を移行し、否定判断された場合、Ｓ４１６に処理を移行するとよい。   In the embodiment described above, the text input using the soft keyboard is transmitted to the MFP 10 on the condition that the screen image of the MFP 10 displayed on the LCD 216 is touched. However, the screen of the MFP 10 displayed on the LCD 216 is used. The input text may be transmitted to the MFP 10 on the condition that a specific area in the image, specifically, an area where an OK button for confirming the input text is displayed is touched. In such a case, this condition determination is performed in S404. If an affirmative determination is made, the process proceeds to S405. If a negative determination is made, the process proceeds to S416.

上記実施形態では、ＬＣＤ１６にて表示されているテキスト入力画面に対して入力可能な文字種が制限されている場合には、ＯＳ２１２ａに対し、ソフトキーボードの文字種の切り替えを禁止する指示する構成とした。これに代えて、ＯＳ２１２ａに対し、制限されている文字種、すなわち、テキスト入力画面に対して入力できない文字種の入力を受け付けないよう指示する構成としてもよい。かかる場合、ＯＳ２１２ａは、切替キーに対する操作が行われた場合に、文字種を切り替える。しかし、切り替え後の文字種が制限された文字種である場合、ＯＳ２１２ａは、ソフトキーボードからの入力を受け付けない。あるいは、制限されている文字種が、ＯＳ２１２ａから、操作支援アプリ２１２ｂ（ＲＡＭ２１３）に入力された場合に、そのテキストの入力を無効にする構成としてもよい。   In the above embodiment, when the character types that can be input to the text input screen displayed on the LCD 16 are limited, the OS 212a is instructed to prohibit switching of the character types of the soft keyboard. Instead, the OS 212a may be instructed not to accept input of restricted character types, that is, character types that cannot be input to the text input screen. In such a case, the OS 212a switches the character type when an operation on the switch key is performed. However, when the character type after switching is a restricted character type, the OS 212a does not accept input from the soft keyboard. Alternatively, when a restricted character type is input from the OS 212a to the operation support application 212b (RAM 213), the text input may be invalidated.

上記実施形態および変形例では、ＣＰＵ２１１が、図３および図４に記載される各処理を実行する構成として説明したが、これら各図に記載される各処理を、複数のＣＰＵが協同的に実行する構成としてもよい。また、ＡＳＩＣなどのＩＣが、単独で、または、複数によって協働的に、上記各図に記載される各処理を実行する構成してもよい。また、ＣＰＵ１１とＡＳＩＣなどのＩＣとが協同して、上記各図に記載される各処理を実行する構成してもよい。また、図３および図４に示す各処理のうち、一部の処理を、特許請求の範囲における独立請求項から逸脱しない範囲で、省略または変更してもよい。例えば、図４において、Ｓ４１２またはＳ４１３のいずれかを省略する構成としてもよい。また、Ｓ４１４またはＳ４１５のうち、いずれか一方の処理のみが行われる構成としてもよい。   In the embodiment and the modification described above, the CPU 211 has been described as a configuration that executes each process described in FIGS. 3 and 4. However, a plurality of CPUs cooperatively execute each process described in each figure. It is good also as composition to do. Further, an IC such as an ASIC may be configured to execute each process described in each of the above drawings independently or in cooperation with a plurality of ICs. Further, the CPU 11 and an IC such as an ASIC may cooperate to execute each process described in the above drawings. Moreover, you may abbreviate | omit or change one part of each process shown in FIG. 3 and FIG. 4 in the range which does not deviate from the independent claim in a claim. For example, in FIG. 4, either S412 or S413 may be omitted. Further, only one of S414 and S415 may be performed.

１０：ＭＦＰ．２００：端末，２１２ｂ：操作支援アプリ 10: MFP. 200: terminal, 212b: operation support application

Claims (15)

第１表示部と、前記第１表示部に対する入力操作を検出する入力部と、外部装置と通信する通信部と、制御部と、記憶部と、を備えた端末装置の、前記制御部が実行可能であり、かつ、前記入力部が検出した入力操作に基づいて外部装置を操作するための操作支援プログラムであって、
外部装置が有する第２表示部に表示される画面に関する画像データを、前記通信部を介して外部装置から取得する画像取得手段と、
前記画像取得手段により取得した画像データに基づく画像を前記第１表示部に表示する画像表示手段と、
前記画像表示手段により前記第１表示部に表示される画像に対する入力操作を前記入力部が検出した場合、検出された前記入力操作の位置に応じた操作情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第１情報出力手段と、
前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力を求める画像を含むかを判断する第１判断手段と、
前記第１判断手段により、前記画像がテキストの入力を求める画像を含むと判断される場合、本操作支援プログラムとは異なる第２プログラムに対し、当該第２プログラムが管理するソフトウェアキーを前記第１表示部に表示させる指示を出す表示指示手段と、
前記表示指示手段による指示に応じてソフトウェアキーが前記画像とは独立して表示された場合、前記第１表示部における所定の位置に対する入力操作を前記入力部が検出したことを条件として、前記記憶部に記憶されているテキスト情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第２情報出力手段と、
前記入力操作に応じたテキスト情報であって、前記第２情報出力手段による前記外部装置への出力が未出力であるテキスト情報を、所定のタイミング毎に、前記記憶部に記憶する記憶手段と、
前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含む場合、前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まるかを判断する第２判断手段と、
前記第２判断手段により前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まると判断された場合、当該テキストを前記入力フィールドに表示する一方で、
前記第２判断手段により前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まらないと判断された場合、当該テキストを、前記第１表示部における画像の非表示領域に表示するテキスト表示手段として、
前記制御部を機能させることを特徴とする操作支援プログラム。 The control unit executes a terminal device including a first display unit, an input unit that detects an input operation on the first display unit, a communication unit that communicates with an external device, a control unit, and a storage unit. And an operation support program for operating an external device based on the input operation detected by the input unit,
Image acquisition means for acquiring image data related to a screen displayed on the second display unit of the external device from the external device via the communication unit;
Image display means for displaying an image based on the image data acquired by the image acquisition means on the first display unit;
When the input unit detects an input operation on the image displayed on the first display unit by the image display unit, operation information corresponding to the detected position of the input operation is transmitted via the communication unit. First information output means for outputting to an external device from which image data is acquired by the image acquisition means;
First determination means for determining whether an image displayed on the first display unit by the image display means includes an image for requesting input of text;
When the first determination means determines that the image includes an image for which input of text is requested, a software key managed by the second program is assigned to the first program different from the operation support program. Display instruction means for issuing an instruction to be displayed on the display unit;
When the software key is displayed independently of the image in response to an instruction from the display instruction means, the storage is performed on the condition that the input unit has detected an input operation for a predetermined position on the first display unit. Second information output means for outputting the text information stored in the section to the external device from which the image data is acquired by the image acquisition means, via the communication section;
Storage means for storing text information corresponding to the input operation, which is not output to the external device by the second information output means, in the storage unit at a predetermined timing;
When the image displayed on the first display unit by the image display means includes a text input field, second determination means for determining whether text according to the text information corresponding to the input operation fits in the input field. When,
When it is determined by the second determination means that text according to the text information corresponding to the input operation fits in the input field, the text is displayed in the input field,
When the second determination means determines that the text according to the text information corresponding to the input operation does not fit in the input field, the text display displays the text in the non-display area of the image in the first display unit As a means
An operation support program for causing the control unit to function. 前記画像取得手段により取得される画像データは、前記第２表示部に表示される画面の画像データであり、
前記画像表示手段は、前記第１表示部であって前記表示指示手段による指示に応じて表示されるソフトウェアキーの外側に、前記画像取得手段により取得した画像データに基づく画像を表示し、
前記第２情報出力手段は、前記表示指示手段による指示に応じてソフトウェアキーが前記画像とは独立して表示された場合、当該ソフトウェアキーに対する入力操作を前記入力部が検出したことに基づいて、当該入力操作に応じたテキスト情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力することを特徴とする請求項１に記載の操作支援プログラム。 The image data acquired by the image acquisition means is image data of a screen displayed on the second display unit,
The image display means displays an image based on the image data acquired by the image acquisition means on the outside of the software key displayed in response to an instruction from the display instruction means in the first display section,
When the software key is displayed independently of the image according to the instruction from the display instruction unit, the second information output unit is based on the fact that the input unit detects an input operation on the software key, The operation support program according to claim 1 , wherein text information corresponding to the input operation is output to an external device from which image data is acquired by the image acquisition unit via the communication unit . 前記画像取得手段により取得される画像データは、前記第２表示部に表示される画面の画像データであることを特徴とする請求項１に記載の操作支援プログラム。 The picture data acquired by the acquisition unit, an operation support program according to claim 1, characterized in that the image data of the screen displayed on the second display unit. 前記端末装置は、記憶部を備え、
前記ソフトウェアキーに対する入力操作に応じたテキスト情報であって、前記第２情報出力手段による前記外部装置への出力が未出力であるテキスト情報を、所定のタイミング毎に、前記記憶部に記憶する記憶手段として、
前記制御部を機能させ、
前記第２情報出力手段は、前記第１表示部における所定の位置に対する入力操作を前記入力部が検出したことを条件として、前記記憶部に記憶されている前記テキスト情報を出力することを特徴とする請求項１から３のいずれかに記載の操作支援プログラム。 The terminal device includes a storage unit,
Storage that stores text information corresponding to an input operation to the software key, which is not output to the external device by the second information output unit, at the predetermined timing. As a means
Make the control function,
The second information output means outputs the text information stored in the storage unit on condition that the input unit has detected an input operation to a predetermined position on the first display unit. The operation support program according to any one of claims 1 to 3. 前記所定のタイミングは、前記入力操作に応じたテキスト情報を前記第２プログラムに対して確定する入力操作を、前記入力部が検出したタイミングであることを特徴とする請求項４記載の操作支援プログラム。   5. The operation support program according to claim 4, wherein the predetermined timing is a timing at which the input unit detects an input operation for determining text information corresponding to the input operation for the second program. . 前記所定の位置は、前記画像表示手段により前記第１表示部に表示される画像内に位置することを特徴とする請求項４または５に記載の操作支援プログラム。   6. The operation support program according to claim 4, wherein the predetermined position is located in an image displayed on the first display unit by the image display means. 前記記憶部に記憶されるテキスト情報に従うテキストを、前記第１表示部に表示するテキスト表示手段として、
前記制御部を機能させることを特徴とする請求項４から６のいずれかに記載の操作支援プログラム。 As text display means for displaying text according to the text information stored in the storage unit on the first display unit,
The operation support program according to claim 4, wherein the control unit is caused to function. 前記テキスト表示手段は、
前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含む場合、前記入力操作に応じたテキストを前記入力フィールドに表示する一方で、
前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含まない場合、前記入力操作に応じたテキストを、前記第１表示部における前記画像の非表示領域に表示することを特徴とする請求項７記載の操作支援プログラム。 The text display means includes
When the image displayed on the first display unit by the image display means includes a text input field, the text corresponding to the input operation is displayed in the input field,
When the image displayed on the first display unit by the image display means does not include a text input field, the text corresponding to the input operation is displayed in the non-display area of the image on the first display unit. The operation support program according to claim 7. 前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含む場合、前記入力操作に応じたテキストが前記入力フィールド内に収まるかを判断する第２判断手段として、
前記制御部を機能させ、
前記テキスト表示手段は、
前記第２判断手段により前記入力操作に応じたテキストが前記入力フィールド内に収まると判断された場合、当該テキストを前記入力フィールドに表示する一方で、
前記第２判断手段により前記入力操作に応じたテキストが前記入力フィールド内に収まらないと判断された場合、当該テキストを、前記第１表示部における画像の非表示領域に表示すること特徴とする請求項７または８に記載の操作支援プログラム。 When the image displayed on the first display unit by the image display unit includes a text input field, as a second determination unit for determining whether the text according to the input operation fits in the input field,
Make the control function,
The text display means includes
When the second determination means determines that the text corresponding to the input operation fits in the input field, the text is displayed in the input field,
The text is displayed in a non-display area of an image in the first display section when the second determination means determines that the text corresponding to the input operation does not fit in the input field. Item 9. The operation support program according to Item 7 or 8. 前記第１判断手段は、前記画像取得手段により取得された画像データが、テキストの入力を求める画像を含むことを示す情報を含む場合に、前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力を求める画像を含むと判断することを特徴とする請求項１から９のいずれかに記載の操作支援プログラム。   The first determination unit is displayed on the first display unit by the image display unit when the image data acquired by the image acquisition unit includes information indicating that the image data is requested to be input. The operation support program according to claim 1, wherein the image is determined to include an image for which input of text is requested. 前記表示指示手段は、前記画像取得手段により取得された画像データに含まれる、ソフトウェアキーの種類を特定する特定情報に基づいて、前記第２プログラムに対し、前記特定情報に応じたソフトウェアキーを前記第１表示部に表示させる指示を出すことを特徴とする請求項１から１０のいずれかに記載の操作支援プログラム。   The display instruction means assigns a software key corresponding to the specific information to the second program based on the specific information specifying the type of software key included in the image data acquired by the image acquisition means. The operation support program according to claim 1, wherein an instruction to be displayed on the first display unit is issued. 前記表示指示手段により前記指示が出された後、当該第２プログラムに対し、ソフトウェアキーの種類の切り替えを禁止する指示を出す禁止指示手段として、
前記制御部を機能させることを特徴とする請求項１から１１のいずれかに記載の操作支援プログラム。 After the instruction is given by the display instruction means, a prohibition instruction means for giving an instruction to prohibit the switching of the software key type to the second program,
The operation support program according to claim 1, wherein the control unit is caused to function. 前記第２プログラムは、前記端末装置に搭載されるオペレーティングシステムであることを特徴とする請求項１から１２のいずれかに記載の操作支援プログラム。   The operation support program according to claim 1, wherein the second program is an operating system installed in the terminal device. 前記入力部は、前記第１表示部に重ねて設けられているタッチパネルであることを特徴とする請求項１から１３のいずれかに記載の操作支援プログラム。   The operation support program according to any one of claims 1 to 13, wherein the input unit is a touch panel provided on the first display unit. 第１表示部と、
前記第１表示部に対する入力操作を検出する入力部と、
外部装置と通信する通信部と、
制御部と、
記憶部と、を備え、
前記制御部は、
外部装置が有する第２表示部に表示される画面に関する画像データを、前記通信部を介して外部装置から取得する画像取得手段と、
前記画像取得手段により取得した画像データに基づく画像を前記第１表示部に表示する画像表示手段と、
前記画像表示手段により前記第１表示部に表示される画像に対する入力操作を前記入力部が検出した場合、検出された前記入力操作の位置に応じた操作情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第１情報出力手段と、
前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力を求める画像を含む場合、本操作支援プログラムとは異なる第２プログラムに対し、当該第２プログラムが管理するソフトウェアキーを前記第１表示部に表示させる指示を出す表示指示手段と、
前記表示指示手段による指示に応じてソフトウェアキーが前記画像とは独立して表示された場合、前記第１表示部における所定の位置に対する入力操作を前記入力部が検出したことを条件として、前記記憶部に記憶されているテキスト情報を、前記通信部を介して、前記画像取得手段による画像データの取得元の外部装置に出力する第２情報出力手段と、
前記入力操作に応じたテキスト情報であって、前記第２情報出力手段による前記外部装置への出力が未出力であるテキスト情報を、所定のタイミング毎に、前記記憶部に記憶する記憶手段と、
前記画像表示手段により前記第１表示部に表示される画像が、テキストの入力フィールドを含む場合、前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まるかを判断する第２判断手段と、
前記第２判断手段により前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まると判断された場合、当該テキストを前記入力フィールドに表示する一方で、
前記第２判断手段により前記入力操作に応じたテキスト情報に従うテキストが前記入力フィールド内に収まらないと判断された場合、当該テキストを、前記第１表示部における画像の非表示領域に表示するテキスト表示手段と、
を備えていることを特徴とする端末装置。 A first display unit;
An input unit for detecting an input operation on the first display unit;
A communication unit that communicates with an external device;
A control unit;
A storage unit,
The controller is
Image acquisition means for acquiring image data related to a screen displayed on the second display unit of the external device from the external device via the communication unit;
Image display means for displaying an image based on the image data acquired by the image acquisition means on the first display unit;
When the input unit detects an input operation on the image displayed on the first display unit by the image display unit, operation information corresponding to the detected position of the input operation is transmitted via the communication unit. First information output means for outputting to an external device from which image data is acquired by the image acquisition means;
When the image displayed on the first display unit by the image display means includes an image for requesting text input, a software key managed by the second program is assigned to a second program different from the operation support program. Display instruction means for issuing an instruction to display on the first display unit;
When the software key is displayed independently of the image in response to an instruction from the display instruction means, the storage is performed on the condition that the input unit has detected an input operation for a predetermined position on the first display unit. Second information output means for outputting the text information stored in the section to the external device from which the image data is acquired by the image acquisition means, via the communication section;
Storage means for storing text information corresponding to the input operation, which is not output to the external device by the second information output means, in the storage unit at a predetermined timing;
When the image displayed on the first display unit by the image display means includes a text input field, second determination means for determining whether text according to the text information corresponding to the input operation fits in the input field. When,
When it is determined by the second determination means that text according to the text information corresponding to the input operation fits in the input field, the text is displayed in the input field,
When the second determination means determines that the text according to the text information corresponding to the input operation does not fit in the input field, the text display displays the text in the non-display area of the image in the first display unit Means,
A terminal device comprising:
JP2014012989A 2014-01-28 2014-01-28 Operation support program and terminal device Active JP6314499B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014012989A JP6314499B2 (en) 2014-01-28 2014-01-28 Operation support program and terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014012989A JP6314499B2 (en) 2014-01-28 2014-01-28 Operation support program and terminal device

Publications (2)

Publication Number Publication Date
JP2015141487A JP2015141487A (en) 2015-08-03
JP6314499B2 true JP6314499B2 (en) 2018-04-25

Family

ID=53771815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014012989A Active JP6314499B2 (en) 2014-01-28 2014-01-28 Operation support program and terminal device

Country Status (1)

Country Link
JP (1) JP6314499B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10126945B2 (en) 2016-06-10 2018-11-13 Apple Inc. Providing a remote keyboard service
CN106791380B (en) 2016-12-06 2020-04-21 周民 Method and device for shooting dynamic photos

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120054320A1 (en) * 2009-04-21 2012-03-01 Minoru Yoshida Server device, server-client system, server program, and recording medium with same recorded thereon
GB2479756B (en) * 2010-04-21 2013-06-05 Realvnc Ltd Virtual interface devices
JP5818535B2 (en) * 2010-07-01 2015-11-18 株式会社東芝 Medical image display device
JP2012093877A (en) * 2010-10-26 2012-05-17 Konica Minolta Business Technologies Inc Remote operation system, remote operation method, and remote operation program
US9552140B2 (en) * 2011-07-21 2017-01-24 Nokia Technologies Oy Method and apparatus for providing data entry content to a remote environment
JP2013251623A (en) * 2012-05-30 2013-12-12 Kyocera Document Solutions Inc Image processing apparatus, portable terminal, and image processing system

Also Published As

Publication number Publication date
JP2015141487A (en) 2015-08-03

Similar Documents

Publication Publication Date Title
US10310793B2 (en) Image processing system having portable terminal that preregisters a job in an image processing apparatus, image processing apparatus, and portable information terminal
JP6035985B2 (en) Image processing apparatus, control program for image processing apparatus, and image processing system
US10705680B2 (en) Information processing apparatus and non-transitory computer readable medium
JP6170452B2 (en) Image processing apparatus and system including the same
US10356258B2 (en) Image processing system performing screen data selection, image processing device, terminal device and non-transitory readable recording medium
EP2750029B1 (en) Display processing apparatus, image forming apparatus, display processing system of a remote screen, and display processing method
JP6003939B2 (en) Image processing linkage system and linkage method, portable terminal device, and image processing linkage program
US8982397B2 (en) Image processing device, non-transitory computer readable recording medium and operational event determining method
JP6314499B2 (en) Operation support program and terminal device
US10063730B2 (en) Image forming system, image forming apparatus, remote control apparatus, and recording medium
US9432526B2 (en) Image forming system, image forming apparatus, remote control apparatus, and recording medium for displaying an input screen
JP6183109B2 (en) Operation support program, terminal device, process execution device, and process execution program
US8854687B2 (en) Image forming apparatus with setting screen, setting method, and non-transitory computer-readable recording medium encoded with setting program
JP6540059B2 (en) REMOTE PANEL SYSTEM, REMOTE SCREEN DISPLAY METHOD, AND IMAGE PROCESSING APPARATUS
JP6366271B2 (en) Information processing apparatus and control method of information processing apparatus
JP2015037197A (en) Image processing system, image processor, and display control program for remote screen
JP6705288B2 (en) program
US11240394B2 (en) Information processing apparatus for invalidating an operation setting from a second device
JP6409285B2 (en) Display control apparatus, image forming apparatus, display method, and display program
JP2008112414A (en) Virtual keyboard system, control method thereof and computer program
JP6390131B2 (en) Process execution system, process execution device, and process execution program
JP6155883B2 (en) Display program and display device
US11985277B2 (en) Image forming apparatus and remote operation control method
US10110762B2 (en) Display control device for displaying a screen depending on the size of a display surface, method for displaying control device, method for displaying a screen depending on the size of a display surface, and computer-readable storage medium for computer program
JP2018067858A (en) Information processing apparatus, control method and program of information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180312

R150 Certificate of patent or registration of utility model

Ref document number: 6314499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150