JP6260290B2 - Image forming system, image forming apparatus, remote control device, and program - Google Patents

Image forming system, image forming apparatus, remote control device, and program Download PDF

Info

Publication number
JP6260290B2
JP6260290B2 JP2014007238A JP2014007238A JP6260290B2 JP 6260290 B2 JP6260290 B2 JP 6260290B2 JP 2014007238 A JP2014007238 A JP 2014007238A JP 2014007238 A JP2014007238 A JP 2014007238A JP 6260290 B2 JP6260290 B2 JP 6260290B2
Authority
JP
Japan
Prior art keywords
screen
input
image forming
character
forming apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014007238A
Other languages
Japanese (ja)
Other versions
JP2015135633A (en
Inventor
美絵 川端
美絵 川端
洋一 来正
洋一 来正
本杉　敏久
敏久 本杉
洋彰 杉本
洋彰 杉本
征平 市山
征平 市山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2014007238A priority Critical patent/JP6260290B2/en
Publication of JP2015135633A publication Critical patent/JP2015135633A/en
Application granted granted Critical
Publication of JP6260290B2 publication Critical patent/JP6260290B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Accessory Devices And Overall Control Thereof (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））などの画像形成装置を備える画像形成システム、およびそれに関連する技術に関する。   The present invention relates to an image forming system including an image forming apparatus such as an MFP (Multi-Functional Peripheral), and a related technology.

画像形成装置を外部端末（遠隔操作装置）によって操作する技術が存在する。   There is a technique for operating an image forming apparatus with an external terminal (remote operation apparatus).

たとえば、特許文献１においては、画像形成装置から外部端末へと操作画面データ自体（ビットマップ画像データ等）をそのまま送信して当該操作画面を外部端末の表示部に表示するとともに、当該操作画面内での操作位置情報（押下位置情報等）を送受信して操作画面内における操作入力を受け付ける技術が示されている。いわゆるリモート接続による遠隔操作技術である。   For example, in Patent Document 1, the operation screen data itself (bitmap image data or the like) is transmitted as it is from the image forming apparatus to the external terminal, and the operation screen is displayed on the display unit of the external terminal. A technique for receiving operation input in an operation screen by transmitting / receiving operation position information (pressed position information, etc.) is shown. This is a remote operation technology by so-called remote connection.

また、携帯端末において、予めインストールされているインプットメソッドエディタ（ＩＭＥ：Input Method Editor）（以下、単にＩＭＥとも称する）を用いて、文字を入力する技術が存在する。   In addition, there is a technology for inputting characters using a preinstalled input method editor (IME) (hereinafter also simply referred to as IME) in a portable terminal.

なお、このようなＩＭＥとしては、キーボードを用いて文字を入力するもののみならず、手書き文字認識を伴うものも存在する（特許文献２参照）。当該技術においては、携帯端末にインストールされている手書き入力ＩＭＥ（手書き入力アプリケーションとも称する）が起動され、手書き入力ＩＭＥに係る入力画面である手書き入力画面がパネルに表示される。ユーザは、当該手書き入力画面を用いることにより、手書き入力による文字入力を行うことが可能である。   In addition, as such IME, there exist not only what inputs a character using a keyboard but the thing accompanying handwritten character recognition (refer patent document 2). In this technique, a handwriting input IME (also referred to as a handwriting input application) installed in a mobile terminal is activated, and a handwriting input screen that is an input screen related to the handwriting input IME is displayed on the panel. The user can input characters by handwriting input by using the handwriting input screen.

特開平０５−１２２４２４号公報Japanese Patent Laid-Open No. 05-122424 特開２００３−６７６７３号公報JP 2003-67673 A

ところで、上記のような画像形成装置に関する遠隔操作技術（特許文献１参照）において文字入力を行う際には、ソフトウエアキーボードを有するキーボード画面が用いられる。   Incidentally, a keyboard screen having a software keyboard is used when performing character input in the remote operation technique (see Patent Document 1) related to the image forming apparatus as described above.

たとえば、画像形成装置の或る操作画面（遠隔操作用画面）が外部端末（遠隔操作装置）の表示部に表示された状態において、ユーザが当該操作画面内の或る設定ボタンを押下すると、その押下位置の座標情報が外部端末から画像形成装置に送信され、画像形成装置は、当該設定ボタンが押下された旨を当該座標情報に基づいて判定する。そして、画像形成装置は、当該設定ボタンの押下に応じて表示すべき新たな操作画面（次の操作画面）が文字入力画面（キーボード画面等）であることを更に判定すると、当該文字入力画面の画像データ（たとえば、ビットマップ画像データ）を外部端末に送信する。外部端末は、受信した画像データに基づいて文字入力画面（キーボード画面）を表示する。ユーザは、当該文字入力画面を用いて所望の文字を入力することができる。   For example, when a user presses a certain setting button in the operation screen in a state where a certain operation screen (remote operation screen) of the image forming apparatus is displayed on the display unit of the external terminal (remote operation device), The coordinate information of the pressed position is transmitted from the external terminal to the image forming apparatus, and the image forming apparatus determines that the setting button has been pressed based on the coordinate information. When the image forming apparatus further determines that the new operation screen (next operation screen) to be displayed in response to pressing of the setting button is a character input screen (keyboard screen or the like), Image data (for example, bitmap image data) is transmitted to the external terminal. The external terminal displays a character input screen (keyboard screen) based on the received image data. The user can input a desired character using the character input screen.

一方、外部端末のユーザの中には、使い慣れたＩＭＥを利用したいと考えるユーザも存在する。そのような事情を考慮して、外部端末にインストールされているＩＭＥを起動して文字入力を行うことも考えられる。   On the other hand, some users of external terminals want to use a familiar IME. In consideration of such circumstances, it is also possible to start IME installed in an external terminal and input characters.

たとえば、上記と同様にして、外部端末の表示部に表示された操作画面（遠隔操作用画面）内の或る設定ボタンがユーザにより押下され、その押下位置の座標情報が外部端末から画像形成装置に送信された後、画像形成装置は、当該設定ボタンが押下された旨を当該座標情報に基づいて判定する。さらに、画像形成装置は、当該設定ボタンの押下に応じて表示すべき新たな操作画面の画像データ（たとえば、ビットマップ画像データ）等を外部端末に送信する。外部端末は、受信したデータを解析し、当該データに基づく新たな操作画面が文字入力画面（キーボード画面）であるか否かを判定する。そして、外部端末は、当該新たな操作画面が文字入力画面である旨を判定することを条件として、当該外部端末に予めインストールされているＩＭＥを起動する。ユーザは、当該ＩＭＥを用いて所望の文字を入力することができる。   For example, in the same manner as described above, a certain setting button in the operation screen (remote operation screen) displayed on the display unit of the external terminal is pressed by the user, and the coordinate information of the pressed position is transmitted from the external terminal to the image forming apparatus. The image forming apparatus determines that the setting button is pressed based on the coordinate information. Further, the image forming apparatus transmits image data (for example, bitmap image data) of a new operation screen to be displayed in response to pressing of the setting button to the external terminal. The external terminal analyzes the received data and determines whether the new operation screen based on the data is a character input screen (keyboard screen). Then, the external terminal activates the IME installed in advance in the external terminal on condition that the new operation screen is a character input screen. The user can input a desired character using the IME.

しかしながら、このような技術においては、或るユーザ操作（設定ボタンの押下操作等）に応じて画面データが画像形成装置から外部端末に送信された後に、ＩＭＥの起動の是非が外部端末により判断されるため、ユーザ操作時点（設定ボタンの押下操作時点）からＩＭＥの起動完了時点までの期間が長大化しやすい。すなわち、ＩＭＥの起動完了が遅延しやすい。ユーザは、入力すべき内容（文字）を既に決定している場合であっても、ＩＭＥの起動完了まで待つことを求められる。   However, in such a technique, after the screen data is transmitted from the image forming apparatus to the external terminal in response to a certain user operation (such as pressing a setting button), the external terminal determines whether to start IME. Therefore, the period from the user operation time (setting button pressing operation time) to the IME activation completion time tends to be long. That is, the completion of IME activation is likely to be delayed. Even when the content (characters) to be input has already been determined, the user is required to wait until IME activation is completed.

そこで、この発明は、画像形成装置を遠隔操作する遠隔操作装置において、文字入力を行うためのソフトウエアを比較的早期に起動して、ユーザの文字入力を比較的早期に受け付けることが可能な技術を提供することを課題とする。 Accordingly, the present invention is a remote control device for remotely operating the image forming apparatus, start the software for inputting characters relatively early, which can accept relatively early character input of the user Technology It is an issue to provide.

上記課題を解決すべく、請求項１の発明は、画像形成システムであって、画像形成装置と、前記画像形成装置を遠隔操作する遠隔操作装置と、を備え、前記画像形成装置は、前記遠隔操作装置に表示された操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記遠隔操作装置から受信する受信手段と、前記操作入力が文字入力画面の表示指示であるか否かを前記操作入力情報に基づいて判定する判定手段と、前記操作入力が文字入力画面の表示指示である旨が判定されると、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記遠隔操作装置に送信する送信手段と、を有し、前記遠隔操作装置は、前記操作画面を表示する表示手段と、前記操作入力情報を前記画像形成装置に送信するとともに、前記起動指令を前記画像形成装置から受信する通信手段と、前記起動指令が前記画像形成装置から受信されると、前記ソフトウエアを起動して前記表示手段に表示する表示制御手段と、を有することを特徴とする。 In order to solve the above-mentioned problem, the invention of claim 1 is an image forming system, comprising an image forming apparatus and a remote control device for remotely operating the image forming apparatus, wherein the image forming apparatus is the remote control device. Receiving means for receiving, from the remote operation device, operation input information that is information related to operation input from the operator for the operation screen displayed on the operation device, and whether or not the operation input is a display instruction for a character input screen. Determination means for determining based on the operation input information, and software for performing character input when it is determined that the operation input is a display instruction for a character input screen, and is installed in the remote operation device. a transmitting means for transmitting an activation instruction to start the software that is Le in the remote operation device, wherein the remote operation device includes a display means for displaying the operation screen, Transmits the serial operation input information to the image forming apparatus, and a communication means for receiving the activation command from the image forming apparatus, when the start command is received from the image forming apparatus, start the software Display control means for displaying on the display means.

請求項２の発明は、請求項１の発明に係る画像形成システムにおいて、前記画像形成装置の前記送信手段は、前記起動指令に加えて、前記文字入力画面の画面データをも前記遠隔操作装置に送信し、前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアの起動処理中に前記文字入力画面の前記画面データが受信されると、前記ソフトウエアの起動完了を待った後に前記画面データに基づく前記文字入力画面の表示処理を開始することを特徴とする。 According to a second aspect of the present invention, in the image forming system according to the first aspect of the present invention, the transmission unit of the image forming apparatus transmits not only the start command but also screen data of the character input screen to the remote control device. And when the screen data of the character input screen is received during the activation process of the software , the display control means of the remote control device is based on the screen data after waiting for completion of the activation of the software. The display process of the character input screen is started.

請求項３の発明は、請求項１の発明に係る画像形成システムにおいて、前記画像形成装置の前記送信手段は、前記起動指令に加えて、前記文字入力画面の画面データをも前記遠隔操作装置に送信し、前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアの起動処理中に前記文字入力画面の前記画面データが受信されると、前記ソフトウエアの起動完了を待つことなく前記画面データに基づく前記文字入力画面の表示処理を開始することを特徴とする。 According to a third aspect of the present invention, in the image forming system according to the first aspect of the present invention, the transmission means of the image forming apparatus transmits not only the start command but also screen data of the character input screen to the remote control device. And when the screen data of the character input screen is received during the activation process of the software , the display control means of the remote control device converts the display data into the screen data without waiting for the completion of the activation of the software. The display processing of the character input screen based on is started.

請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る画像形成システムにおいて、前記画像形成装置の前記送信手段は、前記起動指令に加えて、前記文字入力画面の画面データをも前記遠隔操作装置に送信し、前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアの操作画面と前記画面データに基づく前記文字入力画面とを重ねて表示するとともに、前記ソフトウエアにて入力された文字を前記文字入力画面の文字入力欄に合成して表示することを特徴とする。 According to a fourth aspect of the present invention, in the image forming system according to any one of the first to third aspects, the transmission unit of the image forming apparatus includes screen data of the character input screen in addition to the start command. also transmitted to the remote control device, said display control means of the remote control device, and displays superimposed and the character input screen said software operation screen to be based on the screen data, at said software The inputted character is synthesized and displayed in the character input field of the character input screen.

請求項５の発明は、請求項１ないし請求項３のいずれかの発明に係る画像形成システムにおいて、前記遠隔操作装置の前記通信手段は、起動された前記ソフトウエアにて入力された文字の入力文字情報を前記画像形成装置に送信し、前記画像形成装置は、前記入力文字情報が前記遠隔操作装置から受信されると、前記ソフトウエアにて入力された文字を前記入力文字情報に基づき判定し、当該文字をその文字入力欄に追加した更新後の前記文字入力画面を生成する生成手段、をさらに有し、前記画像形成装置の前記送信手段は、前記更新後の前記文字入力画面の画面データを前記遠隔操作装置に送信し、前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアの操作画面と前記更新後の前記文字入力画面とを重ねて表示することを特徴とする。 According to a fifth aspect of the present invention, in the image forming system according to any one of the first to third aspects of the present invention, the communication means of the remote control device inputs characters entered by the activated software . sends character information to the image forming apparatus, the image forming apparatus, when the input text information is received from the remote operation device, determined based on the characters entered by the software on the input character information And generating means for generating the updated character input screen in which the character is added to the character input field, wherein the transmitting means of the image forming apparatus includes screen data of the updated character input screen. sends to the remote control device, the display control unit of the remote control device includes a display means displays superimposed and the character input screen after the update and the software operation screen That.

請求項６の発明は、請求項１ないし請求項４のいずれかの発明に係る画像形成システムにおいて、前記画像形成装置の前記送信手段は、前記起動指令に加えて、前記文字入力画面の文字入力欄の位置情報をも前記遠隔操作装置に送信し、前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアを起動する際に、前記位置情報に基づいて前記ソフトウエアの文字入力欄の位置を前記文字入力画面の文字入力欄の位置に合わせて表示することを特徴とする。 According to a sixth aspect of the present invention, in the image forming system according to any one of the first to fourth aspects, the transmission unit of the image forming apparatus inputs a character on the character input screen in addition to the start command. also the location information of the field transmitted to the remote operation device, the display control unit of the remote control apparatus, when starting the software, the location of the text entry field of the software on the basis of the position information It is characterized by being displayed according to the position of the character input field on the character input screen.

請求項７の発明は、遠隔操作装置により遠隔操作される画像形成装置であって、前記遠隔操作装置に表示された操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記遠隔操作装置から受信する受信手段と、前記操作入力が文字入力画面の表示指示であるか否かを前記操作入力情報に基づいて判定する判定手段と、前記操作入力が文字入力画面の表示指示である旨が判定されると、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記遠隔操作装置に送信する送信手段と、を備えることを特徴とする。 According to a seventh aspect of the present invention, there is provided an image forming apparatus remotely operated by a remote operation device, wherein operation input information which is information relating to an operation input from an operator for an operation screen displayed on the remote operation device is Receiving means for receiving from the apparatus; determination means for determining whether or not the operation input is a display instruction for a character input screen; and that the operation input is a display instruction for a character input screen When there is determined, the remote control device a software for inputting characters Installation - transmitting means for transmitting an activation instruction to start the software that is Le in the remote control device, It is characterized by providing.

請求項８の発明は、請求項７の発明に係る画像形成装置において、前記ソフトウエアにて入力された文字の入力文字情報が前記遠隔操作装置から受信されると、前記ソフトウエアにて入力された文字を前記入力文字情報に基づき判定し、当該文字をその文字入力欄に追加した更新後の前記文字入力画面を生成する生成手段、をさらに備え、前記画像形成装置の前記送信手段は、前記更新後の前記文字入力画面の画面データをも前記遠隔操作装置に送信することを特徴とする。 According to an eighth aspect of the present invention, in the image forming apparatus according to the seventh aspect of the present invention, when input character information of a character input by the software is received from the remote control device, the input is performed by the software . A generation unit that determines the character based on the input character information, and generates the updated character input screen in which the character is added to the character input field, and the transmission unit of the image forming apparatus includes: The updated screen data of the character input screen is also transmitted to the remote operation device.

請求項９の発明は、遠隔操作装置により遠隔操作される画像形成装置に内蔵されたコンピュータに、ａ）前記遠隔操作装置に表示された操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記遠隔操作装置から受信するステップと、ｂ）前記操作入力が文字入力画面の表示指示であるか否かを前記操作入力情報に基づいて判定するステップと、ｃ）前記操作入力が文字入力画面の表示指示である旨が判定されると、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記遠隔操作装置に送信するステップと、を実行させるためのプログラムであることを特徴とする。 According to a ninth aspect of the present invention, in a computer built in an image forming apparatus remotely operated by a remote operation device, a) an operation input which is information relating to an operation input from an operator for an operation screen displayed on the remote operation device Receiving information from the remote control device; b) determining based on the operation input information whether the operation input is a display instruction for a character input screen; c) determining whether the operation input is a character input When it is determined that the display instruction is a screen display instruction, a command for starting the software that is used to input characters and that is installed in the remote control device is to be started. And the step of transmitting to the program.

請求項１０の発明は、請求項９の発明に係るプログラムにおいて、ｄ）前記ソフトウエアにて入力された文字の入力文字情報を前記遠隔操作装置から受信するステップと、ｅ）前記ソフトウエアにて入力された文字を前記入力文字情報に基づき判定し、当該文字をその文字入力欄に追加した更新後の前記文字入力画面を前記遠隔操作装置に送信するステップと、を前記コンピュータにさらに実行させるためのプログラムであることを特徴とする。 The invention of claim 10 is the program according to the invention of claim 9, d) a step of receiving input character information of characters inputted by the software from the remote control device; and e) by the software . Determining the input character based on the input character information, and transmitting the updated character input screen in which the character is added to the character input field to the remote control device; It is the program of this.

請求項１１の発明は、画像形成装置を遠隔操作する遠隔操作装置であって、前記画像形成装置を遠隔操作するための操作画面を表示する表示手段と、前記操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記画像形成装置に送信するとともに、前記操作画面に対する操作者からの操作入力が文字入力画面の表示指示である場合に、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記画像形成装置から受信する通信手段と、前記起動指令が前記画像形成装置から受信されると、前記ソフトウエアを起動して前記表示手段に表示する表示制御手段と、を備えることを特徴とする。 The invention according to claim 11 is a remote operation device for remotely operating the image forming apparatus, the display means for displaying an operation screen for remotely operating the image forming apparatus, and an operation input from the operator to the operation screen Software for inputting characters when the operation input from the operator to the operation screen is a display instruction for a character input screen. A communication means for receiving from the image forming apparatus a start command indicating that the software installed in the remote control device should be started; and when the start command is received from the image forming apparatus, the software Display control means for activating and displaying on the display means.

請求項１２の発明は、画像形成装置を遠隔操作する遠隔操作装置に内蔵されたコンピュータに、ａ）前記画像形成装置を遠隔操作するための操作画面を表示するステップと、ｂ）前記操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記画像形成装置に送信するステップと、ｃ）前記操作画面に対する操作者からの操作入力が文字入力画面の表示指示である場合に、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記画像形成装置から受信するステップと、ｄ）前記起動指令が前記画像形成装置から受信されると、前記ソフトウエアを起動して表示するステップと、を実行させるためのプログラムであることを特徴とする。 According to a twelfth aspect of the present invention, a) a step of displaying an operation screen for remotely operating the image forming apparatus on a computer built in the remote operation apparatus for remotely operating the image forming apparatus; and transmitting the information about the operation input from an operator operation input information to the image forming apparatus, when c) the operation input from an operator to said operating screen is a display instruction of the character input screen, a character input Installation on the remote control device comprising software for performing the steps of: - receiving an activation instruction to start the software, which is Le from the image forming apparatus, d) wherein the activation command is the image forming When received from the apparatus, the program starts and displays the software , and is a program for executing the program.

請求項１ないし請求項１２に記載の発明によれば、画像形成装置を遠隔操作する遠隔操作装置において、文字入力を行うためのソフトウエアを比較的早期に起動して、ユーザの文字入力を比較的早期に受け付けることが可能である。 According to the first to twelfth aspects of the present invention, in the remote operation device for remotely operating the image forming apparatus, the software for performing character input is activated relatively early to compare the user's character input. It is possible to accept early.

画像形成システムを示す図である。1 is a diagram illustrating an image forming system. 画像形成装置の機能ブロックを示す図である。It is a figure which shows the functional block of an image forming apparatus. 外部端末の概略構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of an external terminal. 設定画面（遠隔操作画面）を示す図である。It is a figure which shows a setting screen (remote operation screen). ＩＭＥの操作画面等を示す図である。It is a figure which shows the operation screen etc. of IME. 文字入力画面を示す図である。It is a figure which shows a character input screen. 文字入力画面とＩＭＥの操作画面とが重畳表示される様子を示す図である。It is a figure which shows a mode that a character input screen and the operation screen of IME are superimposed and displayed. ＭＦＰの動作を示すフローチャートである。3 is a flowchart showing the operation of the MFP. 外部端末の動作を示すフローチャートである。It is a flowchart which shows operation | movement of an external terminal. 画像形成システムにおける動作例を示すタイミングチャートである。6 is a timing chart illustrating an operation example in the image forming system. データテーブルを示す図である。It is a figure which shows a data table. 画像形成システムにおける別の動作例を示すタイミングチャートである。6 is a timing chart illustrating another operation example in the image forming system. 入力文字「Ａ」がその表示欄に表示されたＩＭＥ操作画面を示す図である。It is a figure which shows the IME operation screen in which the input character "A" was displayed on the display column. 入力文字「Ａ」を含む操作画面が、ＩＭＥの操作画面とともに表示される様子を示す図である。It is a figure which shows a mode that the operation screen containing input character "A" is displayed with the operation screen of IME. 他の動作例を示すタイミングチャートである。It is a timing chart which shows another example of operation. 変形例に係る動作例を示すタイミングチャートである。It is a timing chart which shows the operation example which concerns on a modification. 第２実施形態に係るＭＦＰの動作を示すフローチャートである。10 is a flowchart showing an operation of the MFP according to the second embodiment. 第２実施形態に係る外部端末の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the external terminal which concerns on 2nd Embodiment. 第２実施形態に係る画像形成システムの動作例を示すタイミングチャートである。10 is a timing chart illustrating an operation example of the image forming system according to the second embodiment. 更新後の次画面を示す図である。It is a figure which shows the next screen after an update. 第３実施形態に係るＩＭＥの入力文字表示欄の表示位置を示す図である。It is a figure which shows the display position of the input character display column of IME which concerns on 3rd Embodiment. 第３実施形態に係るＭＦＰの動作を示すフローチャートである。10 is a flowchart illustrating an operation of an MFP according to a third embodiment. 第３実施形態に係る外部端末の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the external terminal which concerns on 3rd Embodiment. 第３実施形態に係る画像形成システムの動作例を示すタイミングチャートである。12 is a timing chart illustrating an operation example of the image forming system according to the third embodiment. 手書き入力タイプのＩＭＥを示す図である。It is a figure which shows IME of a handwriting input type. 文字入力画面と手書き入力タイプのＩＭＥの操作画面とが重畳表示される様子を示す図である。It is a figure which shows a mode that a character input screen and the handwriting input type IME operation screen are superimposed and displayed. 変形例に係るＩＭＥの入力文字表示欄の表示位置を示す図である。It is a figure which shows the display position of the input character display column of IME which concerns on a modification. 比較例に係る動作を示すタイミングチャートである。It is a timing chart which shows the operation | movement which concerns on a comparative example.

以下、本発明の実施形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜１．第１実施形態＞
＜１−１．構成概要＞
図１は、本発明に係る画像形成システム１を示す図である。図１に示すように、画像形成システム１は、画像形成装置１０と外部端末５０とを備える。 <1. First Embodiment>
<1-1. Outline of configuration>
FIG. 1 is a diagram showing an image forming system 1 according to the present invention. As shown in FIG. 1, the image forming system 1 includes an image forming apparatus 10 and an external terminal 50.

画像形成装置１０と外部端末５０とは、ネットワーク（通信ネットワーク）１０８を介して互いに接続される。ネットワーク１０８は、ＬＡＮ（Local Area Network）およびインターネットなどによって構成される。また、ネットワーク１０８に対する接続態様は、有線接続であってもよく、或いは無線接続であってもよい。たとえば、画像形成装置１０はネットワーク１０８に対して有線接続され、外部端末５０はネットワーク１０８に対して無線接続される。   The image forming apparatus 10 and the external terminal 50 are connected to each other via a network (communication network) 108. The network 108 is configured by a LAN (Local Area Network), the Internet, and the like. Further, the connection mode to the network 108 may be wired connection or wireless connection. For example, the image forming apparatus 10 is wired to the network 108, and the external terminal 50 is wirelessly connected to the network 108.

画像形成システム１においては、画像形成装置１０に対する各種の操作を外部端末５０を用いて行うことが可能である。すなわち、外部端末５０は、画像形成装置１０を遠隔操作することが可能である。なお、この画像形成システム１は、画像形成装置１０の遠隔操作を行う遠隔操作システムなどとも表現される。   In the image forming system 1, various operations on the image forming apparatus 10 can be performed using the external terminal 50. That is, the external terminal 50 can remotely operate the image forming apparatus 10. The image forming system 1 is also expressed as a remote operation system that performs remote operation of the image forming apparatus 10.

＜１−２．画像形成装置の構成＞
図２は、画像形成装置１０の機能ブロックを示す図である。ここでは、画像形成装置１０として、ＭＦＰ（マルチ・ファンクション・ペリフェラル（Multi-Functional Peripheral））を例示する。図２においては、ＭＦＰ１０の機能ブロックが示されている。 <1-2. Configuration of image forming apparatus>
FIG. 2 is a diagram illustrating functional blocks of the image forming apparatus 10. Here, an MFP (Multi-Functional Peripheral) is exemplified as the image forming apparatus 10. In FIG. 2, functional blocks of the MFP 10 are shown.

ＭＦＰ１０は、スキャン機能、コピー機能、ファクシミリ機能およびボックス格納機能などを備える装置（複合機とも称する）である。具体的には、ＭＦＰ１０は、図２の機能ブロック図に示すように、画像読取部２、印刷出力部３、通信部４、格納部５、操作部６およびコントローラ９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。   The MFP 10 is a device (also referred to as a multi-function device) having a scan function, a copy function, a facsimile function, a box storage function, and the like. Specifically, as shown in the functional block diagram of FIG. 2, the MFP 10 includes an image reading unit 2, a print output unit 3, a communication unit 4, a storage unit 5, an operation unit 6, a controller 9, and the like. Various functions are realized by operating each part of the above in a complex manner.

画像読取部２は、ＭＦＰ１０の所定の位置に載置された原稿を光学的に読み取って（すなわちスキャンして）、当該原稿の画像データ（原稿画像ないしスキャン画像とも称する）を生成する処理部である。この画像読取部２は、スキャン部であるとも称される。   The image reading unit 2 is a processing unit that optically reads (that is, scans) a document placed at a predetermined position of the MFP 10 and generates image data of the document (also referred to as a document image or a scanned image). is there. The image reading unit 2 is also referred to as a scanning unit.

印刷出力部３は、印刷対象に関するデータに基づいて紙などの各種の媒体に画像を印刷出力する出力部である。   The print output unit 3 is an output unit that prints out an image on various media such as paper based on data related to a print target.

通信部４は、公衆回線等を介したファクシミリ通信を行うことが可能な処理部である。さらに、通信部４は、ネットワーク１０８を介したネットワーク通信を行うことも可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、ＭＦＰ１０は、所望の相手先（たとえば、外部端末５０）との間で各種のデータを授受することが可能である。通信部４は、各種データを送信する送信部４ａと各種データを受信する受信部４ｂとを有する。   The communication unit 4 is a processing unit capable of performing facsimile communication via a public line or the like. Further, the communication unit 4 can perform network communication via the network 108. In this network communication, for example, various protocols such as TCP / IP (Transmission Control Protocol / Internet Protocol) are used. By using the network communication, the MFP 10 can exchange various data with a desired partner (for example, the external terminal 50). The communication unit 4 includes a transmission unit 4a that transmits various data and a reception unit 4b that receives various data.

格納部５は、ハードディスクドライブ（ＨＤＤ）等の記憶装置で構成される。格納部５は、各操作画面の画像データ等を記憶する。また、格納部５には、各ユーザ向けに複数のボックス（フォルダ）が設けられ、各ボックスには、電子文書データ（文書ファイル）等が保存される。   The storage unit 5 includes a storage device such as a hard disk drive (HDD). The storage unit 5 stores image data of each operation screen. The storage unit 5 is provided with a plurality of boxes (folders) for each user, and electronic document data (document files) and the like are stored in each box.

操作部６は、ＭＦＰ１０に対する操作入力を受け付ける操作入力部６ａと、各種情報の表示出力を行う表示部６ｂとを備えている。   The operation unit 6 includes an operation input unit 6a that receives an operation input to the MFP 10 and a display unit 6b that displays and outputs various types of information.

このＭＦＰ１０においては、略板状の操作パネル部６ｃ（図１参照）が設けられている。また、操作パネル部６ｃは、その正面側にタッチパネル２５（図１参照）を有している。タッチパネル２５は、操作入力部６ａの一部としても機能するとともに、表示部６ｂの一部としても機能する。タッチパネル２５は、液晶表示パネルに各種センサ等が埋め込まれて構成され、各種情報を表示するとともに操作者からの各種の操作入力を受け付けることが可能である。   The MFP 10 is provided with a substantially plate-like operation panel unit 6c (see FIG. 1). Further, the operation panel unit 6c has a touch panel 25 (see FIG. 1) on the front side thereof. The touch panel 25 functions as a part of the operation input unit 6a and also functions as a part of the display unit 6b. The touch panel 25 is configured by embedding various sensors and the like in a liquid crystal display panel, and can display various information and accept various operation inputs from an operator.

たとえば、タッチパネル２５においては、メニュー画像（ボタン画像等を含む）が表示される。操作者は、タッチパネル２５内に仮想的に配置されるボタン（ボタン画像で表現されるボタン）を押下することによって、ＭＦＰ１０の各種動作内容を設定することなどが可能である。   For example, on the touch panel 25, menu images (including button images and the like) are displayed. The operator can set various operation contents of the MFP 10 by pressing a button (button represented by a button image) virtually arranged in the touch panel 25.

なお、後述するように、外部端末５０のタッチパネル７５（図１参照）においては、ＭＦＰ１０のタッチパネル２５に表示される操作画面と同様の画面が表示される。外部端末５０のタッチパネル７５に表示された操作画面を用いることにより、ＭＦＰ１０のタッチパネル２５に表示された操作画面を用いる操作と同様の操作が実現される。   As described later, on the touch panel 75 (see FIG. 1) of the external terminal 50, a screen similar to the operation screen displayed on the touch panel 25 of the MFP 10 is displayed. By using the operation screen displayed on the touch panel 75 of the external terminal 50, an operation similar to the operation using the operation screen displayed on the touch panel 25 of the MFP 10 is realized.

コントローラ９は、ＭＦＰ１０に内蔵され、ＭＦＰ１０を統括的に制御する制御装置である。コントローラ９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ９は、ＣＰＵにおいて、ＲＯＭ（例えば、ＥＥＰＲＯＭ）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）Ｐ１を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）Ｐ１は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワーク１０８等を介してＭＦＰ１０にインストールされてもよい。   The controller 9 is a control device that is built in the MFP 10 and controls the MFP 10 in an integrated manner. The controller 9 is configured as a computer system including a CPU and various semiconductor memories (RAM and ROM). The controller 9 implements various processing units by executing a predetermined software program (hereinafter also simply referred to as a program) P1 stored in a ROM (for example, EEPROM) in the CPU. The program (specifically, a program module group) P1 may be installed in the MFP 10 via a portable recording medium such as a USB memory or the network 108.

具体的には、図２に示すように、コントローラ９は、プログラムＰ１の実行により、通信制御部１１と入力制御部１２と表示制御部１３と判定部１４と画面生成部１５とを含む各種の処理部を実現する。   Specifically, as shown in FIG. 2, the controller 9 executes various programs including the communication control unit 11, the input control unit 12, the display control unit 13, the determination unit 14, and the screen generation unit 15 by executing the program P <b> 1. A processing unit is realized.

入力制御部１２は、操作入力部６ａ（タッチパネル２５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部１２は、タッチパネル２５に表示された操作画面に対する操作入力を受け付ける動作を制御する。   The input control unit 12 is a control unit that controls an operation input operation to the operation input unit 6a (the touch panel 25 or the like). For example, the input control unit 12 controls an operation for receiving an operation input on the operation screen displayed on the touch panel 25.

表示制御部１３は、表示部６ｂ（タッチパネル２５等）における表示動作を制御する処理部である。表示制御部１３は、ＭＦＰ１０を操作するための操作画面（遠隔操作画面）２００等をタッチパネル２５に表示させる。   The display control unit 13 is a processing unit that controls a display operation in the display unit 6b (the touch panel 25 or the like). The display control unit 13 causes the touch panel 25 to display an operation screen (remote operation screen) 200 for operating the MFP 10.

通信制御部１１は、他の装置（外部端末５０等）との間の通信動作を通信部４等と協働して制御する処理部である。たとえば、通信制御部１１は、外部端末５０における操作画面（遠隔操作画面とも称する）２００（２１０，２２０，...）（図４，図６参照）の表示用画像（詳細にはそのデータ）等を外部端末５０に送信する。また、通信制御部１１は、外部端末５０に表示された操作画面（２１０等）に対する操作者からの操作入力に関する情報である操作入力情報を外部端末５０から受信する。さらに、通信制御部１１は、当該操作入力情報に関する或る条件が充足される場合には、操作画面２１０の表示用画像に先立って、ＩＭＥ起動指令（外部端末５０にインスト−ルされているＩＭＥを起動すべき旨の起動指令）を外部端末５０に送信する。   The communication control unit 11 is a processing unit that controls communication operations with other devices (such as the external terminal 50) in cooperation with the communication unit 4 and the like. For example, the communication control unit 11 displays an image for display on an operation screen (also referred to as a remote operation screen) 200 (210, 220,...) (See FIGS. 4 and 6) on the external terminal 50 (specifically, data thereof). Etc. are transmitted to the external terminal 50. In addition, the communication control unit 11 receives, from the external terminal 50, operation input information that is information related to an operation input from the operator for the operation screen (210, etc.) displayed on the external terminal 50. Further, when a certain condition regarding the operation input information is satisfied, the communication control unit 11 prior to the display image on the operation screen 210, the IME activation command (IME installed in the external terminal 50). Is sent to the external terminal 50.

判定部１４は、操作画面に関する画面遷移内容を判定して制御する制御部であり、画面遷移制御部とも称される。判定部１４は、たとえば、外部端末５０から送信されてきた操作入力情報（操作入力位置の座標値等）に基づいて、外部端末５０における操作入力の内容を判定し、当該操作入力の内容に基づく遷移先の画面等を判定する。また、判定部１４は、当該操作入力が文字入力画面の表示指示であるか否か等を判定し、ＩＭＥ起動指令を外部端末５０に送信すべきか否か等をも判定する。   The determination unit 14 is a control unit that determines and controls screen transition contents related to the operation screen, and is also referred to as a screen transition control unit. For example, the determination unit 14 determines the content of the operation input in the external terminal 50 based on the operation input information (such as the coordinate value of the operation input position) transmitted from the external terminal 50, and based on the content of the operation input Determine the transition destination screen. Further, the determination unit 14 determines whether or not the operation input is a display instruction for a character input screen, and also determines whether or not an IME activation command should be transmitted to the external terminal 50.

画面生成部１５は、ＭＦＰ１０のタッチパネル２５における操作画面（ひいては外部端末５０のタッチパネル７５における操作画面）を生成する処理部である。   The screen generation unit 15 is a processing unit that generates an operation screen on the touch panel 25 of the MFP 10 (and eventually an operation screen on the touch panel 75 of the external terminal 50).

＜１−３．外部端末の構成＞
次に外部端末（遠隔操作装置とも称する）５０の構成について説明する。 <1-3. Configuration of external terminal>
Next, the configuration of the external terminal (also referred to as a remote control device) 50 will be described.

外部端末５０は、他の装置との間でのネットワーク通信が可能な携帯式の情報入出力端末装置である。ここでは、外部端末５０として、タブレット型端末を例示する。ただし、これに限定されず、外部端末５０は、スマートフォンであってもよく、パーソナルコンピュータなどであってもよい。また、外部端末５０は、携帯式の装置であってもよく、据置型の装置であってもよい。   The external terminal 50 is a portable information input / output terminal device capable of network communication with other devices. Here, a tablet type terminal is illustrated as the external terminal 50. However, the present invention is not limited to this, and the external terminal 50 may be a smartphone or a personal computer. The external terminal 50 may be a portable device or a stationary device.

図３は、外部端末５０の概略構成を示す機能ブロック図である。   FIG. 3 is a functional block diagram illustrating a schematic configuration of the external terminal 50.

外部端末５０は、図３の機能ブロック図に示すように、通信部５４、格納部５５、操作部５６およびコントローラ５９等を備えており、これらの各部を複合的に動作させることによって、各種の機能を実現する。   As shown in the functional block diagram of FIG. 3, the external terminal 50 includes a communication unit 54, a storage unit 55, an operation unit 56, a controller 59, and the like. Realize the function.

通信部５４は、ネットワーク１０８を介したネットワーク通信を行うことが可能である。このネットワーク通信では、たとえば、ＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）等の各種のプロトコルが利用される。当該ネットワーク通信を利用することによって、外部端末５０は、所望の相手先（ＭＦＰ１０等）との間で各種のデータを授受することが可能である。通信部５４は、各種データを送信する送信部５４ａと各種データを受信する受信部５４ｂとを有する。たとえば、受信部５４ｂは、操作画面（遠隔操作用の操作画面）の表示用画像（詳細にはその画像データ）等をＭＦＰ１０から受信し、送信部５４ａは、タッチパネル７５に表示された操作画面に対する操作入力の情報（タッチ座標情報等）をＭＦＰ１０に送信する。また、受信部５４ｂは、当該操作入力に対応する新たな操作画面（次の操作画面）の表示用画像（詳細にはその画像データ）等をＭＦＰ１０から受信する。さらに、受信部５４ｂは、ＩＭＥ起動指令をも受信する。   The communication unit 54 can perform network communication via the network 108. In this network communication, for example, various protocols such as TCP / IP (Transmission Control Protocol / Internet Protocol) are used. By using the network communication, the external terminal 50 can exchange various data with a desired partner (MFP 10 or the like). The communication unit 54 includes a transmission unit 54a that transmits various data and a reception unit 54b that receives various data. For example, the receiving unit 54 b receives a display image (specifically, image data thereof) of the operation screen (remote operation screen) from the MFP 10, and the transmission unit 54 a responds to the operation screen displayed on the touch panel 75. Operation input information (touch coordinate information and the like) is transmitted to the MFP 10. In addition, the receiving unit 54b receives from the MFP 10 a display image (specifically, image data thereof) of a new operation screen (next operation screen) corresponding to the operation input. Furthermore, the receiving unit 54b also receives an IME activation command.

格納部５５は、不揮発性の半導体メモリ等の記憶装置で構成される。格納部５５には、ＭＦＰ１０から送信されてきた各種の画像データが一時的に格納される。たとえば、操作画面の表示用画像の画像データ等が一時的に格納される。   The storage unit 55 includes a storage device such as a nonvolatile semiconductor memory. The storage unit 55 temporarily stores various image data transmitted from the MFP 10. For example, image data of a display image on the operation screen is temporarily stored.

操作部５６は、外部端末５０に対する操作入力を受け付ける操作入力部５６ａと、各種情報の表示出力を行う表示部５６ｂとを備えている。この外部端末５０においては、液晶表示パネルに各種センサ等が埋め込まれて構成されたタッチパネル７５（図１参照）が設けられている。具体的には、図１に示すように、略板状の外部端末５０の正面側において、その周縁部（枠部）を除くほぼ全面にわたってタッチパネル７５が設けられている。このタッチパネル７５は、操作入力部５６ａの一部としても機能するとともに、表示部５６ｂの一部としても機能する。   The operation unit 56 includes an operation input unit 56a that receives an operation input to the external terminal 50, and a display unit 56b that displays and outputs various types of information. In the external terminal 50, a touch panel 75 (see FIG. 1) configured by embedding various sensors or the like in a liquid crystal display panel is provided. Specifically, as shown in FIG. 1, a touch panel 75 is provided on almost the entire surface excluding the peripheral edge portion (frame portion) on the front side of the substantially plate-like external terminal 50. The touch panel 75 functions as a part of the operation input unit 56a and also functions as a part of the display unit 56b.

タッチパネル７５には、タッチパネル２５の操作画面と同様の操作画面が遠隔操作画面（ＭＦＰ１０を遠隔操作するための画面）として表示される。また、タッチパネル７５は、当該遠隔操作画面等に対するタッチジェスチャ操作（タッチ操作とも称する）を受け付ける。   On touch panel 75, an operation screen similar to the operation screen of touch panel 25 is displayed as a remote operation screen (screen for remotely operating MFP 10). In addition, the touch panel 75 receives a touch gesture operation (also referred to as a touch operation) on the remote operation screen or the like.

図３のコントローラ５９は、外部端末５０に内蔵され、外部端末５０を統括的に制御する制御装置である。コントローラ５９は、ＣＰＵおよび各種の半導体メモリ（ＲＡＭおよびＲＯＭ）等を備えるコンピュータシステムとして構成される。コントローラ５９は、ＣＰＵにおいて、記憶部（半導体メモリ等）内に格納されている所定のソフトウエアプログラム（以下、単にプログラムとも称する）を実行することによって、各種の処理部を実現する。なお、当該プログラム（詳細にはプログラムモジュール群）は、ＵＳＢメモリなどの可搬性の記録媒体、あるいはネットワーク１０８等を介して外部端末５０にインストールされるようにしてもよい。   The controller 59 in FIG. 3 is a control device that is built in the external terminal 50 and controls the external terminal 50 in an integrated manner. The controller 59 is configured as a computer system including a CPU and various semiconductor memories (RAM and ROM). The controller 59 implements various processing units by executing predetermined software programs (hereinafter also simply referred to as programs) stored in a storage unit (semiconductor memory or the like) in the CPU. The program (specifically, a program module group) may be installed in the external terminal 50 via a portable recording medium such as a USB memory or the network 108.

具体的には、外部端末５０には、インプットメソッドエディタ（ＩＭＥ：Input Method Editor）が予めインストールされている。ＩＭＥは、操作ユーザによる文字入力を受け付ける処理等を行うソフトウエアであり、文字入力補助ソフトウエアなどとも表現される。   Specifically, an input method editor (IME) is preinstalled in the external terminal 50. IME is software that performs processing for accepting character input by an operating user, and is also expressed as character input assistance software.

また、外部端末５０には、遠隔操作用のプログラムＰ２もインストールされている。当該プログラムＰ２は、ＭＦＰ１０を遠隔操作するアプリケーションソフトウエアプログラムであり、遠隔操作に関する諸機能等を実現する。   The external terminal 50 is also installed with a remote operation program P2. The program P2 is an application software program for remotely operating the MFP 10 and implements various functions related to remote operation.

具体的には、コントローラ５９は、プログラムＰ２等の実行により、通信制御部６１と入力制御部６２と表示制御部６３と座標変換部６５とを含む各種の処理部を実現する。   Specifically, the controller 59 realizes various processing units including a communication control unit 61, an input control unit 62, a display control unit 63, and a coordinate conversion unit 65 by executing the program P2 and the like.

通信制御部６１は、通信部５４等と協働して、ＭＦＰ１０等との通信動作を制御する処理部である。たとえば、通信制御部６１は、操作入力情報（タッチパネル７５に表示された操作画面に対する操作者からの操作入力に関する情報）をＭＦＰ１０に送信する。また、通信制御部６１は、外部端末５０における操作画面２００（２１０，２２０等）の表示用画像を受信する。さらに、通信制御部６１は、操作画面に対する操作者からの操作入力が文字入力画面の表示指示である場合には、ＩＭＥ起動指令をＭＦＰ１０から受信する。   The communication control unit 61 is a processing unit that controls a communication operation with the MFP 10 or the like in cooperation with the communication unit 54 or the like. For example, the communication control unit 61 transmits operation input information (information regarding an operation input from the operator to the operation screen displayed on the touch panel 75) to the MFP 10. Further, the communication control unit 61 receives a display image of the operation screen 200 (210, 220, etc.) on the external terminal 50. Further, the communication control unit 61 receives an IME activation command from the MFP 10 when the operation input from the operator on the operation screen is a display instruction for the character input screen.

入力制御部６２は、操作入力部５６ａ（タッチパネル７５等）に対する操作入力動作を制御する制御部である。たとえば、入力制御部６２は、遠隔操作画面２００等に対するタッチ操作入力を受け付ける動作を制御する。また、入力制御部６２は、ＩＭＥの操作画面５００（５１０等）に対するタッチ操作入力を受け付ける動作をも制御する。   The input control unit 62 is a control unit that controls an operation input operation to the operation input unit 56a (the touch panel 75 or the like). For example, the input control unit 62 controls an operation of accepting a touch operation input on the remote operation screen 200 or the like. The input control unit 62 also controls an operation of accepting a touch operation input on the IME operation screen 500 (510, etc.).

座標変換部６５は、タッチパネル７５における操作入力位置の座標値を、外部端末５０のタッチパネル７５における座標系の値から、ＭＦＰ１０のタッチパネル２５における座標系の値へと変換する処理部である。なお、変換後の座標値は、操作入力の操作位置を示す位置情報（操作位置情報）として、通信制御部６１等によってＭＦＰ１０に送信される。   The coordinate conversion unit 65 is a processing unit that converts the coordinate value of the operation input position on the touch panel 75 from the coordinate system value on the touch panel 75 of the external terminal 50 to the coordinate system value on the touch panel 25 of the MFP 10. The converted coordinate value is transmitted to the MFP 10 by the communication control unit 61 or the like as position information (operation position information) indicating the operation position of the operation input.

表示制御部６３は、表示部５６ｂ（タッチパネル７５等）における表示動作を制御する処理部である。表示制御部６３は、ＭＦＰ１０を遠隔操作するための操作画面２００（２１０，２２０）等をタッチパネル７５に表示させる。   The display control unit 63 is a processing unit that controls a display operation in the display unit 56b (touch panel 75 or the like). The display control unit 63 causes the touch panel 75 to display an operation screen 200 (210, 220) for remotely operating the MFP 10.

表示制御部６３は、ＩＭＥ制御部６４を有している。ＩＭＥ制御部６４は、外部端末５０にインストールされたＩＭＥの動作を制御する。具体的には、ＩＭＥ制御部６４は、ＭＦＰ１０からのＩＭＥ起動指令等に基づいてＩＭＥを起動して表示する動作等を制御する。   The display control unit 63 has an IME control unit 64. The IME control unit 64 controls the operation of the IME installed in the external terminal 50. Specifically, the IME control unit 64 controls an operation for starting and displaying the IME based on an IME activation command or the like from the MFP 10.

＜１−４．操作画面＞
この画像形成システム１においては、ＭＦＰ１０のタッチパネル２５に操作画面（不図示）が表示されるとともに、当該操作画面の画像データがＭＦＰ１０から外部端末５０に送信され、外部端末５０のタッチパネル７５に当該操作画面と同様の操作画面（遠隔操作画面）２００が表示される。タッチパネル７５に表示された操作画面は、外観上、タッチパネル２５に表示された操作画面と同様の画面である。 <1-4. Operation screen>
In the image forming system 1, an operation screen (not shown) is displayed on the touch panel 25 of the MFP 10, and image data of the operation screen is transmitted from the MFP 10 to the external terminal 50, and the operation is performed on the touch panel 75 of the external terminal 50. An operation screen (remote operation screen) 200 similar to the screen is displayed. The operation screen displayed on the touch panel 75 is the same screen as the operation screen displayed on the touch panel 25 in appearance.

外部端末５０の操作画面は、基本的には、ＭＦＰ１０のタッチパネル２５における操作画面を模した模擬画像の画像データ（模擬画像データとも称する）に基づいて表示される。模擬画像データは、たとえばビットマップ画像として構成される。   The operation screen of the external terminal 50 is basically displayed based on image data (also referred to as simulated image data) of a simulated image that simulates the operation screen on the touch panel 25 of the MFP 10. The simulated image data is configured as a bitmap image, for example.

ここでは、操作画面２００として、「ボックス」の新規登録用の設定画面（ボックス新規登録用設定画面とも称する）２１０（図４）が先ず表示されている状況を想定する。   Here, it is assumed that a “box” new registration setting screen (also referred to as a new box registration setting screen) 210 (FIG. 4) is first displayed as the operation screen 200.

図４は、当該設定画面２１０を示す図である。設定画面２１０は、登録番号欄３２１、登録名称欄３２２、登録名ふりがな欄３２３、検索文字欄３２４を備えている。また、設定画面２１０は、各種のボタン３１１〜３１４，３３１，３３２等をも備えている。   FIG. 4 is a diagram showing the setting screen 210. The setting screen 210 includes a registration number field 321, a registration name field 322, a registered name phonetic field 323, and a search character field 324. The setting screen 210 also includes various buttons 311 to 314, 331, 332, and the like.

ユーザは、各種の設定ボタン３１１〜３１４あるいは各種の文字列表示欄３２１〜３２４を押下することによって、各種の文字情報を入力することが可能である。たとえば、ボタン３１１あるいは登録番号欄３２１を押下することによって、新規ボックス（新規登録対象のボックス）の登録番号を入力することが可能である。同様に、ユーザは、ボタン３１２あるいは登録名称欄３２２を押下することによって、新規ボックスの登録名称を入力することが可能である。   The user can input various character information by pressing various setting buttons 311 to 314 or various character string display fields 321 to 324. For example, by pressing the button 311 or the registration number column 321, it is possible to input the registration number of a new box (new registration target box). Similarly, the user can input the registered name of the new box by pressing the button 312 or the registered name field 322.

なお、文字列表示欄３２１〜３２４の押下に応じても文字入力画面が表示されることから、文字列表示欄３２１〜３２４も設定ボタンの一種であるとも表現される。   Since the character input screen is displayed even when the character string display fields 321 to 324 are pressed, the character string display fields 321 to 324 are also expressed as a kind of setting button.

＜１−５．動作＞
つぎに、この画像形成システム１における動作について図８〜図１０を参照しながら説明する。図８は、ＭＦＰ１０の動作を示すフローチャートであり、図９は、外部端末５０の動作を示すフローチャートである。また、図１０は、画像形成システム１における動作例を示すタイミングチャートである。 <1-5. Operation>
Next, the operation of the image forming system 1 will be described with reference to FIGS. FIG. 8 is a flowchart showing the operation of the MFP 10, and FIG. 9 is a flowchart showing the operation of the external terminal 50. FIG. 10 is a timing chart showing an operation example in the image forming system 1.

ここでは、上述のように、ＭＦＰ１０から外部端末５０への画面データ（設定画面２１０の画像データ）の送信に伴って、外部端末５０のタッチパネル７５において、ボックス新規登録用の設定画面２１０（図４）が操作画面２００として既に表示されている状況を想定する（図１０の冒頭部分も参照）。   Here, as described above, accompanying the transmission of the screen data (image data of the setting screen 210) from the MFP 10 to the external terminal 50, the setting screen 210 for new box registration (see FIG. 4) on the touch panel 75 of the external terminal 50. ) Is already displayed as the operation screen 200 (see also the beginning of FIG. 10).

その後、外部端末５０に表示されている操作画面２１０内の或る設定ボタン（たとえば、ボタン３１２あるいは登録名称欄３２２等）をユーザが押下する（ステップＳ５１（図９））と、その押下位置の位置情報（座標値）が外部端末５０からＭＦＰ１０に送信される（ステップＳ５２）。このようにして、外部端末５０に表示された操作画面２１０に対する操作者（ユーザ）からの操作入力に関する情報である操作入力情報（座標情報等）が、外部端末５０からＭＦＰ１０へと送信される。   Thereafter, when a user presses a certain setting button (for example, the button 312 or the registered name field 322) in the operation screen 210 displayed on the external terminal 50 (step S51 (FIG. 9)), the position of the pressing position is determined. The position information (coordinate values) is transmitted from the external terminal 50 to the MFP 10 (step S52). In this way, operation input information (such as coordinate information) that is information related to an operation input from an operator (user) on the operation screen 210 displayed on the external terminal 50 is transmitted from the external terminal 50 to the MFP 10.

ＭＦＰ１０は、当該操作入力情報（座標情報等）を受信する（ステップＳ１１（図８））と、当該座標情報に基づいて、その操作内容を判定する（ステップＳ１２，Ｓ１３）。たとえば、受信した座標情報（座標値）に基づいて、ユーザによる押下位置が設定ボタン３１２内の位置であることが判定されると、設定ボタン３１２が押下されていた旨が判定され、ステップＳ１２からステップＳ１３に進む。ステップＳ１３では、当該設定ボタン３１２に対応して次に表示すべき新たな画面（次画面）が文字入力画面（文字入力を受け付ける画面）であるか否か、が判定される。すなわち、当該次画面にて、文字入力が行われるか否かが判定される。換言すれば、ユーザによる操作入力が文字入力画面の表示指示であるか否かが判定される。   When the MFP 10 receives the operation input information (coordinate information or the like) (step S11 (FIG. 8)), the MFP 10 determines the operation content based on the coordinate information (steps S12 and S13). For example, if it is determined that the pressed position by the user is a position in the setting button 312 based on the received coordinate information (coordinate value), it is determined that the setting button 312 has been pressed, and from step S12. Proceed to step S13. In step S13, it is determined whether or not a new screen (next screen) to be displayed next corresponding to the setting button 312 is a character input screen (screen for accepting character input). That is, it is determined whether or not character input is performed on the next screen. In other words, it is determined whether or not the operation input by the user is a display instruction for a character input screen.

この判定動作は、ＭＦＰ１０の格納部５内に格納されたデータテーブル４１０（図１１参照）に基づいて行われる。データテーブル４１０には、図１１に示すように、各操作画面の各ボタンの押下に応じて次に表示される画面（対応表示画面）が規定されている。詳細には、各操作画面の各ボタンと対応表示画面（次画面）とが対応付けられて規定されているとともに、当該対応表示画面が文字入力画面であるか否かも規定されている。たとえば、操作画面２１０のボタン３１２に対しては、次画面２２０の画面ＩＤと、当該次画面が文字入力画面であるか否かを示すフラグとを含む情報が規定されており、当該情報に基づいて、ユーザによる操作入力が文字入力画面の表示指示である旨が判定される。   This determination operation is performed based on the data table 410 (see FIG. 11) stored in the storage unit 5 of the MFP 10. As shown in FIG. 11, the data table 410 defines a screen (corresponding display screen) to be displayed next in response to pressing of each button on each operation screen. Specifically, each button on each operation screen is associated with a corresponding display screen (next screen), and whether or not the corresponding display screen is a character input screen is also defined. For example, for the button 312 of the operation screen 210, information including a screen ID of the next screen 220 and a flag indicating whether or not the next screen is a character input screen is defined. Thus, it is determined that the operation input by the user is a display instruction for the character input screen.

ここにおいて、本出願では、「文字」には、アルファベット、ひらがな、カタカナ、漢字、数字、記号などが含まれ得るものとする。たとえば、これらのうちのいずれかの種類の「文字」を入力する操作画面が「文字入力画面」として判定される。   Here, in the present application, “letters” may include alphabets, hiragana, katakana, kanji, numbers, symbols, and the like. For example, an operation screen for inputting any of these types of “characters” is determined as a “character input screen”.

ステップＳ１３において、ユーザによる操作入力が文字入力画面の表示指示である旨が判定されると、ステップＳ１４に進む。なお、ステップＳ１２，Ｓ１３におけるいずれかの条件が充足されない場合には、ステップＳ１４の処理を行うことなく、ステップＳ１５に進む。   If it is determined in step S13 that the operation input by the user is a display instruction for a character input screen, the process proceeds to step S14. If any of the conditions in steps S12 and S13 is not satisfied, the process proceeds to step S15 without performing the process in step S14.

ステップＳ１４では、ＭＦＰ１０は、ＩＭＥの起動指令（外部端末５０に予めインスト−ルされているＩＭＥを起動すべき旨の起動指令（起動要求））を外部端末５０に送信する。   In step S <b> 14, the MFP 10 transmits to the external terminal 50 an IME activation command (activation command (activation request) indicating that the IME preinstalled in the external terminal 50 should be activated).

外部端末５０は、ＩＭＥ起動指令をＭＦＰ１０から受信すると、ステップＳ５３からステップＳ６１（図９）に進み、外部端末５０のＩＭＥを起動してＩＭＥの操作画面５１０（図５参照）をタッチパネル７５に表示する（ステップＳ６１）。また、ＩＭＥの入力文字の表示欄（文字入力欄とも称する）５１２（図５参照）もタッチパネル７５に表示される。   When the external terminal 50 receives the IME activation command from the MFP 10, the process proceeds from step S 53 to step S 61 (FIG. 9), activates the IME of the external terminal 50, and displays the IME operation screen 510 (see FIG. 5) on the touch panel 75. (Step S61). An IME input character display field (also referred to as a character input field) 512 (see FIG. 5) is also displayed on the touch panel 75.

ＭＦＰ１０は、ステップＳ１４（あるいはステップＳ１２，Ｓ１３）の処理後においてステップＳ１５に進む。ステップＳ１５では、ＭＦＰ１０は、次画面２２０（文字入力画面（キーボード画面））（図６）の画像データ（たとえば、ビットマップ画像データ）を生成する。その後、ＭＦＰ１０は、当該文字入力画面の画像データを外部端末５０に送信する（ステップＳ１８）。   The MFP 10 proceeds to step S15 after the process of step S14 (or steps S12 and S13). In step S15, the MFP 10 generates image data (for example, bitmap image data) of the next screen 220 (character input screen (keyboard screen)) (FIG. 6). Thereafter, the MFP 10 transmits the image data of the character input screen to the external terminal 50 (step S18).

一方、外部端末５０は、ＩＭＥ起動指令を受信（ステップＳ５３）してＩＭＥを起動して表示（ステップＳ６１）した後、ステップＳ６２（図９）での判定処理を実行する。ステップＳ６２では、ＭＦＰ１０からの次画面データ（次の操作画面２２０（図６）の画像データ）を受信したか否かが判定される。   On the other hand, the external terminal 50 receives the IME activation command (step S53), activates and displays the IME (step S61), and then executes the determination process in step S62 (FIG. 9). In step S62, it is determined whether or not the next screen data from the MFP 10 (image data of the next operation screen 220 (FIG. 6)) has been received.

ＭＦＰ１０から送信されてきた次画面データ（次の操作画面２２０（図６）の画像データ）を受信した旨が判定されると、（ステップＳ６５および）ステップＳ６６に進み、外部端末５０は、当該操作画面２２０をもタッチパネル７５に表示する（ステップＳ６６）。なお、ここでは、図１０に示すように、次画面２２０の表示前にはＩＭＥへの文字入力が行われなかった（操作画面２２０の表示前にＩＭＥに入力された文字が存在しない）ものとして、ステップＳ６５の処理が行われずにステップＳ６６の処理が行われるものとする。   If it is determined that the next screen data (image data of the next operation screen 220 (FIG. 6)) transmitted from the MFP 10 has been received (step S65 and step S66), the external terminal 50 proceeds to step S66. The screen 220 is also displayed on the touch panel 75 (step S66). Here, as shown in FIG. 10, it is assumed that the character input to the IME was not performed before the next screen 220 was displayed (there was no character input to the IME before the operation screen 220 was displayed). It is assumed that the process of step S66 is performed without performing the process of step S65.

ステップＳ６６では、たとえば図７に示すように、当該操作画面２２０とＩＭＥの操作画面５１０との双方が外部端末５０のタッチパネル７５に表示される。より詳細には、操作画面２２０は、先行して表示されていた操作画面５１０の背面側（奥側）に表示される。換言すれば、操作画面５１０が操作画面２２０に対して重畳されて表示される。このように、操作画面５１０が操作画面２２０よりも優先的に（手前側に）表示される。このような合成表示処理は、外部端末５０（詳細には表示制御部６３）によって行われる。   In step S66, for example, as shown in FIG. 7, both the operation screen 220 and the IME operation screen 510 are displayed on the touch panel 75 of the external terminal 50. More specifically, the operation screen 220 is displayed on the back side (back side) of the operation screen 510 that was previously displayed. In other words, the operation screen 510 is displayed superimposed on the operation screen 220. In this way, the operation screen 510 is displayed preferentially (in front of) the operation screen 220. Such composite display processing is performed by the external terminal 50 (specifically, the display control unit 63).

なお、外部端末５０において、ＩＭＥ起動指令が受信されない状態で次画面の画像が受信された場合には、ステップＳ５３，Ｓ５５からステップＳ５６に進む。ステップＳ５６では、（ＩＭＥの操作画面５１０は表示されず）次の操作画面のみがタッチパネル７５に表示される。たとえば、操作画面２１０にてＯＫボタン３３１が押下された場合には、非文字入力画面である操作画面２３０（不図示）のみが表示される。この場合には、ＩＭＥの操作画面５１０は表示されない。   If the image of the next screen is received in the external terminal 50 without receiving the IME activation command, the process proceeds from step S53, S55 to step S56. In step S56, only the next operation screen is displayed on the touch panel 75 (the IME operation screen 510 is not displayed). For example, when the OK button 331 is pressed on the operation screen 210, only the operation screen 230 (not shown) that is a non-character input screen is displayed. In this case, the IME operation screen 510 is not displayed.

また、上記においては、操作画面２２０の表示前にＩＭＥにて入力された文字が存在しない場合（図１０参照）について説明した。つぎに、図１２をも参照しながら、操作画面２２０の表示前にＩＭＥにて入力された文字が存在する場合について説明する。   Moreover, in the above, the case where the character input by IME before the display of the operation screen 220 does not exist (refer FIG. 10) was demonstrated. Next, a case where there is a character input by IME before the operation screen 220 is displayed will be described with reference to FIG.

外部端末５０は、ステップＳ６１（図９）におけるＩＭＥの起動完了後且つ次画面データの受信前において、ＩＭＥの操作画面５１０を用いた操作入力（文字入力）を受け付けると、ＩＭＥにおける入力文字（ＩＭＥにて入力された文字）の表示欄５１２に当該入力文字を表示する（ステップＳ６４）。詳細には、ＭＦＰ１０から次画面データが未だ受信されていないと判定されると、ステップＳ６２からステップＳ６３に進み、ＩＭＥでの入力文字の有無の判定処理が行われる。そして、入力文字が存在する旨がステップＳ６３で判定されると、当該入力文字が表示欄５１２に表示される（ステップＳ６４）。図１３においては、入力文字「Ａ」が表示欄５１２に表示される様子が示されている。   When the external terminal 50 receives an operation input (character input) using the IME operation screen 510 after the completion of the IME activation in step S61 (FIG. 9) and before the reception of the next screen data, the external terminal 50 receives an input character (IME) in the IME. The input character is displayed in the display column 512 of the character input at (step S64). Specifically, if it is determined that the next screen data has not yet been received from the MFP 10, the process proceeds from step S62 to step S63, and a process for determining whether or not there is an input character in IME is performed. When it is determined in step S63 that an input character exists, the input character is displayed in the display field 512 (step S64). FIG. 13 shows a state where the input character “A” is displayed in the display field 512.

その後、外部端末５０は、次画面データ（次画面２２０の画像データ）を受信する（ステップＳ６２）と、ＩＭＥにて入力された文字（入力文字）を次画面に反映する（ステップＳ６５）。外部端末５０は、たとえば、入力文字「Ａ」を操作画面２２０の入力文字表示欄３５１に合成する。そして、外部端末５０は、入力文字「Ａ」が合成された操作画面２２０を、ＩＭＥの操作画面５１０とともに表示する（図１４参照）。図１４は、入力文字「Ａ」を含む操作画面２２０が、ＩＭＥの操作画面５１０とともに表示される様子を示す図である。なお、単一の文字「Ａ」のみではなく複数の文字（たとえば、「ＡＢＣ」）が次画面２２０の表示開始時点までに順次に入力される場合には、外部端末５０は、当該複数の文字を（更新後の）文字入力画面２２０に順次に合成して表示する。   Thereafter, when the external terminal 50 receives the next screen data (image data of the next screen 220) (step S62), it reflects the character (input character) input in the IME on the next screen (step S65). For example, the external terminal 50 combines the input character “A” with the input character display field 351 of the operation screen 220. Then, the external terminal 50 displays the operation screen 220 in which the input character “A” is combined with the IME operation screen 510 (see FIG. 14). FIG. 14 is a diagram illustrating a state in which an operation screen 220 including the input character “A” is displayed together with the IME operation screen 510. When not only the single character “A” but also a plurality of characters (for example, “ABC”) are sequentially input before the display start time of the next screen 220, the external terminal 50 determines that the plurality of characters Are sequentially synthesized and displayed on the character input screen 220 (after update).

このように、ＭＦＰ１０は、ＩＭＥの起動指令に加えて、文字入力画面２２０の画面データをも外部端末５０に送信し、外部端末５０は、当該画面データに基づく文字入力画面２２０とＩＭＥの操作画面５１０とを重ねて表示する。さらに、外部端末５０は、ＩＭＥにて入力された文字を文字入力画面２２０の入力文字表示欄（文字入力欄）３５１に重畳して表示する。   As described above, the MFP 10 transmits the screen data of the character input screen 220 to the external terminal 50 in addition to the IME activation command, and the external terminal 50 performs the character input screen 220 based on the screen data and the IME operation screen. 510 is displayed in an overlapping manner. Furthermore, the external terminal 50 superimposes and displays the character input by the IME on the input character display field (character input field) 351 of the character input screen 220.

なお、図８および図９等では図示していないが、次画面２２０がＭＦＰ１０から外部端末５０に一旦送信されて外部端末５０にて表示（ステップＳ６６）された後に、ＩＭＥを用いて文字が更に追加された場合には、ＩＭＥを用いて追加された文字（追加文字）が画面２２０の入力文字表示欄３５１に追加的に合成表示されればよい。このような合成処理も、外部端末５０（詳細には表示制御部６３）によって行われればよい。   Although not shown in FIGS. 8 and 9, etc., after the next screen 220 is once transmitted from the MFP 10 to the external terminal 50 and displayed on the external terminal 50 (step S66), characters are further added using the IME. When added, the character added using IME (additional character) should just be additionally displayed in the input character display field 351 of the screen 220. Such a composition process may be performed by the external terminal 50 (specifically, the display control unit 63).

＜１−６．比較例に係る動作＞
図２８は、比較例に係る動作を示すタイミングチャートである。当該比較例に係る動作について図２８を参照しながら説明する。以下では、上記実施形態との相違点を中心に説明する。 <1-6. Operation according to comparative example>
FIG. 28 is a timing chart showing the operation according to the comparative example. The operation according to the comparative example will be described with reference to FIG. Below, it demonstrates centering on difference with the said embodiment.

この比較例においても、まず上記実施形態と同様に、外部端末５０のタッチパネル７５に表示された操作画面（遠隔操作用画面）２１０（図４）内の或る設定ボタン（３１２あるいは３２２等）がユーザにより押下され（ステップＳ５１）、その押下位置の座標情報が外部端末５０からＭＦＰ１０に送信される（ステップＳ５２）。   Also in this comparative example, first, as in the above embodiment, a certain setting button (312 or 322 etc.) in the operation screen (remote operation screen) 210 (FIG. 4) displayed on the touch panel 75 of the external terminal 50 is displayed. Pressed by the user (step S51), the coordinate information of the pressed position is transmitted from the external terminal 50 to the MFP 10 (step S52).

また、ＭＦＰ１０は、外部端末５０のタッチパネル７５に表示された操作画面（遠隔操作用画面）内の或る設定ボタンがユーザにより押下され、その押下位置の座標情報が外部端末５０からＭＦＰ１０に送信された後、ＭＦＰ１０は当該座標情報に基づいて設定ボタンが押下された旨を判定する。   In the MFP 10, a certain setting button in the operation screen (remote operation screen) displayed on the touch panel 75 of the external terminal 50 is pressed by the user, and coordinate information of the pressed position is transmitted from the external terminal 50 to the MFP 10. After that, the MFP 10 determines that the setting button has been pressed based on the coordinate information.

ただし、この比較例においては、ＭＦＰ１０は、（上記実施形態のようなＩＭＥ起動指令を送信することなく、）当該設定ボタンの押下に応じて表示すべき新たな画面の画像データ（たとえば、ビットマップ画像データ）を外部端末５０に送信する。外部端末５０は、受信したデータを解析し、当該データに基づく新たな操作画面が文字入力画面（キーボード画面）であるか否かを判定する。そして、外部端末は、当該新たな操作画面が文字入力画面である旨を判定することを条件として、当該外部端末に予めインストールされているＩＭＥを起動する。これにより、ユーザは、当該ＩＭＥを用いて所望の文字を入力することができる。   However, in this comparative example, the MFP 10 (without transmitting an IME activation command as in the above embodiment) displays image data (for example, a bitmap) of a new screen to be displayed in response to pressing of the setting button. Image data) is transmitted to the external terminal 50. The external terminal 50 analyzes the received data and determines whether the new operation screen based on the data is a character input screen (keyboard screen). Then, the external terminal activates the IME installed in advance in the external terminal on condition that the new operation screen is a character input screen. Thereby, the user can input a desired character using the IME.

しかしながら、このような技術においては、或るユーザ操作（設定ボタンの押下操作等）に応じて、当該ユーザ操作に応じた次画面データ（次画面２２０の画像データ）がＭＦＰ１０から外部端末５０に送信された後に、ＩＭＥの起動の是非が外部端末５０により判断される。そのため、図２８にも示すように、ユーザ操作時点（設定ボタンの押下操作時点）からＩＭＥの起動開始時点までの期間Ｔ１が長大化し易く、その結果、当該ユーザ操作時点からＩＭＥの起動完了時点までの期間Ｔ２が長大化し易い。すなわち、ＩＭＥの起動完了が遅延しやすい、という問題が存在する。ユーザは、入力すべき内容（文字）を既に決定している場合であっても、ＩＭＥの起動完了まで待つことを求められる。   However, in such a technique, the next screen data (image data of the next screen 220) corresponding to the user operation is transmitted from the MFP 10 to the external terminal 50 in response to a certain user operation (such as pressing a setting button). After that, the external terminal 50 determines whether or not the IME is activated. Therefore, as shown in FIG. 28, the period T1 from the user operation time (setting button pressing operation time) to the IME activation start time tends to be long, and as a result, from the user operation time to the IME activation completion time. This period T2 tends to be long. That is, there is a problem that the completion of IME activation is likely to be delayed. Even when the content (characters) to be input has already been determined, the user is required to wait until IME activation is completed.

＜１−７．本願実施形態の効果等＞
一方、上記実施形態に係る動作によれば、ＭＦＰ１０は、設定ボタン（３１２等）の押下に応じて表示すべき新たな画面２２０が文字入力画面（キーボード画面等）である旨を判定する（ステップＳ１３）と、ＩＭＥを外部端末５０にて起動すべき旨を判定し、ＩＭＥの起動指令を外部端末５０に送信する（ステップＳ１４）。また、外部端末５０は、当該起動指令に応じて、外部端末５０に予めインストールされているＩＭＥを起動して表示する（ステップＳ６１）。これにより、ユーザは、当該ＩＭＥを用いて所望の文字を入力することができる。 <1-7. Effects of the embodiment of the present application>
On the other hand, according to the operation according to the above-described embodiment, the MFP 10 determines that the new screen 220 to be displayed in response to the pressing of the setting button (312 or the like) is a character input screen (keyboard screen or the like) (step In step S13, it is determined that the IME should be activated on the external terminal 50, and an IME activation command is transmitted to the external terminal 50 (step S14). Also, the external terminal 50 activates and displays the IME installed in advance in the external terminal 50 in response to the activation command (step S61). Thereby, the user can input a desired character using the IME.

したがって、外部端末５０は、ＭＦＰ１０から送信されてくるＩＭＥ起動指令に応答して、直ちにＩＭＥを起動すること（詳細にはＩＭＥの起動処理を開始すること）ができる。換言すれば、外部端末５０は、ＭＦＰ１０からの次画面データの受信完了を待つことを要さずに、直ちにＩＭＥを起動することができる。   Accordingly, the external terminal 50 can immediately start the IME (specifically, start the IME startup process) in response to the IME startup command transmitted from the MFP 10. In other words, the external terminal 50 can immediately activate the IME without waiting for completion of reception of the next screen data from the MFP 10.

特に、上記比較例に係る技術（或るユーザ操作（設定ボタンの押下操作等）に応じて画面データがＭＦＰ１０から外部端末５０に送信された後にＩＭＥの起動の是非が外部端末５０により判断される技術）に比べて、比較的早期に外部端末５０にてＩＭＥの起動を開始することが可能である。すなわち、期間Ｔ１を短縮することが可能である（図１０，図１２，図１５，図１６参照）。また、その結果、ＭＦＰ１０を遠隔操作する外部端末５０（遠隔操作装置）において、ＩＭＥを比較的早期に起動して表示し、ユーザの文字入力を比較的早期に受け付けることが可能である。すなわち、期間Ｔ２を短縮することが可能である。たとえば、図１２に示すように、ＩＭＥの起動直後からユーザの文字入力を受け付けることが可能である。   In particular, after the screen data is transmitted from the MFP 10 to the external terminal 50 in accordance with a technique according to the comparative example (a user operation (such as pressing a setting button)), the external terminal 50 determines whether or not to start the IME. It is possible to start the IME at the external terminal 50 relatively early compared to the technology. That is, the period T1 can be shortened (see FIGS. 10, 12, 15, and 16). As a result, it is possible to activate and display the IME relatively early on the external terminal 50 (remote operation device) that remotely operates the MFP 10 and accept the user's character input relatively early. That is, it is possible to shorten the period T2. For example, as shown in FIG. 12, it is possible to accept a user's character input immediately after IME activation.

＜１−８．第１実施形態の変形例等＞
上記第１実施形態では、図１０に示すように、ＩＭＥが比較的高速に起動する状況（及び／又は次画面２２０の作成に比較的長い時間を要する状況）等が想定されている。ＩＭＥの起動に比較的時間を要する状況（及び／又は次画面２２０の作成に比較的長い時間を要する状況）等において、ＩＭＥの起動処理が完了する前に（換言すれば、ＩＭＥの起動処理中に）次画面２２０の画像データが受信される場合においても、上記実施形態と同様に、ＩＭＥの起動完了を待った後に、次画面（文字入力画面）２２０の表示処理が開始されればよい。図１５は、このような動作を示すタイミングチャートである。図１５においては、ＩＭＥの起動が完了する前に次画面２２０の画像データが受信されるとともに、当該次画面２２０は、ＩＭＥの起動完了（ＩＭＥの操作画面５１０の表示完了）後に、次画面２２０の表示処理が開始されている。 <1-8. Modifications of First Embodiment>
In the first embodiment, as shown in FIG. 10, a situation where the IME is activated at a relatively high speed (and / or a situation where a relatively long time is required for creating the next screen 220) is assumed. In a situation where it takes a relatively long time to start up the IME (and / or a situation where a relatively long time is required to create the next screen 220), etc., before the IME startup process is completed (in other words, during the startup process of the IME) In the case where the image data of the next screen 220 is received, the display processing of the next screen (character input screen) 220 may be started after waiting for the completion of IME activation, as in the above embodiment. FIG. 15 is a timing chart showing such an operation. In FIG. 15, the image data of the next screen 220 is received before the start of the IME is completed, and the next screen 220 is displayed after the start of the IME (display of the IME operation screen 510 is completed). Display processing has started.

あるいは、ＩＭＥの起動が完了する前に次画面２２０の画像データが受信される場合には、ＩＭＥの起動の完了を待たずに、次画面２２０の画像データの表示処理が開始されるようにしてもよい。図１６は、このような動作を示すタイミングチャートである。図１６においては、ＩＭＥの起動処理が完了する前に（すなわち起動処理中に）次画面２２０の画像データが受信されるとともに、ＩＭＥの起動完了（ＩＭＥの操作画面５１０の表示完了）を待たずに、次画面２２０の画像データの受信完了に応答して次画面２２０の表示処理が直ちに開始されている。   Alternatively, when the image data of the next screen 220 is received before the activation of the IME is completed, the display processing of the image data of the next screen 220 is started without waiting for the completion of the activation of the IME. Also good. FIG. 16 is a timing chart showing such an operation. In FIG. 16, the image data of the next screen 220 is received before the IME activation process is completed (that is, during the activation process), and the IME activation completion (display completion of the IME operation screen 510) is not waited. In addition, in response to the completion of reception of the image data on the next screen 220, the display processing of the next screen 220 is immediately started.

なお、これらのような態様によっても、次画面２２０のデータ受信後にＩＭＥの起動を開始する場合（比較例に係る技術）に比べて、特に期間Ｔ１を短縮し、比較的早期にＩＭＥを起動して表示することが可能である。   It should be noted that even in such an aspect, compared to the case where the activation of the IME is started after receiving the data of the next screen 220 (technology according to the comparative example), the period T1 is particularly shortened and the IME is activated relatively early. Can be displayed.

また、上記実施形態等においては、ＩＭＥ起動指令とともにキーボード画面２２０もＭＦＰ１０から外部端末５０へと送信される態様が例示されているが、これに限定されない。たとえば、ＩＭＥ起動指令のみがＭＦＰ１０から外部端末５０へと送信されるようにしてもよい。すなわち、キーボード画面２２０はＭＦＰ１０から外部端末５０へと送信されないようにしてもよい。また、この場合には、外部端末５０においては、ＩＭＥの操作画面５１０（および入力文字の表示欄５１２）のみが表示されればよい。   Further, in the above-described embodiment and the like, a mode in which the keyboard screen 220 is transmitted from the MFP 10 to the external terminal 50 together with the IME activation command is exemplified, but the present invention is not limited thereto. For example, only the IME activation command may be transmitted from the MFP 10 to the external terminal 50. That is, the keyboard screen 220 may not be transmitted from the MFP 10 to the external terminal 50. In this case, only the IME operation screen 510 (and the input character display field 512) need be displayed on the external terminal 50.

＜２．第２実施形態＞
第２実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。 <2. Second Embodiment>
The second embodiment is a modification of the first embodiment. Below, it demonstrates centering on difference with 1st Embodiment.

上記第１実施形態では、ＩＭＥによる入力文字を外部端末５０が文字入力画面２２０の入力文字表示欄（文字入力欄）３５１に合成する態様が例示されている。   The first embodiment exemplifies a mode in which the external terminal 50 synthesizes an IME input character with the input character display field (character input field) 351 of the character input screen 220.

この第２実施形態においては、ＩＭＥによる入力文字の合成処理がＭＦＰ１０により行われる態様を例示する。より詳細には、外部端末５０にてＩＭＥを用いて入力された文字の入力文字情報が一旦ＭＦＰ１０に送信され、当該入力文字情報に基づきＭＦＰ１０が文字入力画面２２０の入力文字表示欄（文字入力欄）３５１に当該入力文字を合成して文字入力画面２２０を更新する。このように、文字入力画面２２０（詳細には入力文字表示欄３５１）の更新処理（生成処理）がＭＦＰ１０側で実行される。そして、当該更新された最新の文字入力画面２２０が、外部端末５０に送信され、外部端末５０にて表示される。以下では、このような態様について説明する。   In the second embodiment, an example in which the MFP 10 performs input character composition processing by IME. More specifically, the input character information of the character input using the IME on the external terminal 50 is once transmitted to the MFP 10, and the MFP 10 displays the input character display field (character input field) of the character input screen 220 based on the input character information. ) The input character is synthesized in 351 and the character input screen 220 is updated. In this way, the update process (generation process) of the character input screen 220 (specifically, the input character display field 351) is executed on the MFP 10 side. Then, the updated latest character input screen 220 is transmitted to the external terminal 50 and displayed on the external terminal 50. Below, such an aspect is demonstrated.

図１７は、第２実施形態に係るＭＦＰ１０の動作を示すフローチャートであり、図１８は、第２実施形態に係る外部端末５０の動作を示すフローチャートである。また、図１９は、第２実施形態に係る画像形成システム１の動作例を示すタイミングチャートである。   FIG. 17 is a flowchart showing the operation of the MFP 10 according to the second embodiment, and FIG. 18 is a flowchart showing the operation of the external terminal 50 according to the second embodiment. FIG. 19 is a timing chart showing an operation example of the image forming system 1 according to the second embodiment.

図１７に示すように、第２実施形態に係るＭＦＰ１０の動作のうち、ステップＳ１１〜Ｓ１５は、第１実施形態（図８参照）と同様である。ステップＳ１６，Ｓ１７が追加されている点等において、第２実施形態に係る動作は第１実施形態に係る動作と相違している。   As shown in FIG. 17, steps S11 to S15 in the operation of the MFP 10 according to the second embodiment are the same as those in the first embodiment (see FIG. 8). The operation according to the second embodiment is different from the operation according to the first embodiment in that steps S16 and S17 are added.

また、図１８と図９とを比較すると判るように、ステップＳ６４，Ｓ６５以外は、第２実施形態に係る外部端末５０の動作（図１８）は、第１実施形態と同様である。第２実施形態においては、ステップＳ６５は実行されない。また、第２実施形態においては、ステップＳ６４に代えてステップＳ６４ｂが実行される。   Further, as can be seen by comparing FIG. 18 and FIG. 9, the operation of the external terminal 50 according to the second embodiment (FIG. 18) is the same as that of the first embodiment except for steps S64 and S65. In the second embodiment, step S65 is not executed. In the second embodiment, step S64b is executed instead of step S64.

具体的には、図１９にも示すように、ＩＭＥの起動処理完了後にＩＭＥを用いて文字が入力される（ステップＳ６３）と、当該文字（入力文字）の情報（入力文字情報）が外部端末５０からＭＦＰ１０に送信される（ステップＳ６４ｂ）。   Specifically, as shown in FIG. 19, when a character is input using the IME after the completion of the IME activation process (step S63), the information (input character information) of the character (input character) is stored in the external terminal. 50 to the MFP 10 (step S64b).

一方、ＭＦＰ１０は、次画面２２０の送信動作（ステップＳ１８ｂ（図１７））の開始前（換言すれば、次画面２２０の生成完了前）に外部端末５０からの当該入力文字情報を受信すると、ＩＭＥにて入力された文字（入力文字）を当該入力文字情報に基づき判定し、当該入力文字を次画面２００の画像に反映する（ステップＳ１６，Ｓ１７）する。たとえば、ＭＦＰ１０（画面生成部１５）は、入力文字「Ａ」が外部端末５０のユーザにより入力された旨を判定するとともに、その文字入力欄３１５に当該入力文字「Ａ」を追加（合成）した更新後の文字入力画面２２０を生成する。このように、当該入力文字を文字入力画面２２０（詳細には入力文字表示欄３５１）に合成する画面更新処理がＭＦＰ１０側で実行される。図２０は、更新後の次画面２２０を示す図である。図２０に示すように、更新後の次画面２２０においては、入力文字「Ａ」が次画面２２０の入力文字表示欄（文字入力欄）３５１に合成されている。   On the other hand, when the MFP 10 receives the input character information from the external terminal 50 before the start of the transmission operation (step S18b (FIG. 17)) of the next screen 220 (in other words, before the completion of the generation of the next screen 220), the MFP 10 The character (input character) input in is determined based on the input character information, and the input character is reflected in the image of the next screen 200 (steps S16 and S17). For example, the MFP 10 (screen generation unit 15) determines that the input character “A” is input by the user of the external terminal 50 and adds (combines) the input character “A” to the character input field 315. The updated character input screen 220 is generated. As described above, the MFP 10 executes the screen update process for compositing the input character with the character input screen 220 (specifically, the input character display field 351). FIG. 20 shows the next screen 220 after the update. As shown in FIG. 20, in the updated next screen 220, the input character “A” is combined with the input character display field (character input field) 351 of the next screen 220.

なお、次画面２２０の送信動作（ステップＳ１８ｂ）の開始前（次画面２２０の生成完了前）までに単一の文字「Ａ」ではなく複数の文字（たとえば、「ＡＢＣ」）が入力される場合には、当該複数の文字のそれぞれが入力されるごとに、ステップ６４ｂ，Ｓ１７等の処理が実行されればよい。詳細には、入力文字情報が外部端末５０からＭＦＰ１０に送信される（ステップＳ６４ｂ）とともに、入力文字を次画面２２０に合成する画面合成処理（画面更新処理）（ステップＳ１７）が入力文字情報に基づいてＭＦＰ１０により行われればよい。   When a plurality of characters (for example, “ABC”) are input instead of the single character “A” before the start of the transmission operation (step S18b) of the next screen 220 (before the generation of the next screen 220). For example, each time the plurality of characters are input, the processes of steps 64b and S17 may be executed. Specifically, input character information is transmitted from the external terminal 50 to the MFP 10 (step S64b), and a screen composition process (screen update process) (step S17) for combining the input character with the next screen 220 is based on the input character information. This may be performed by the MFP 10.

そして、更新後の次画面２２０（詳細にはその画像データ）がＭＦＰ１０から外部端末５０に送信される（ステップＳ１８ｂ）。   Then, the updated next screen 220 (specifically, the image data) is transmitted from the MFP 10 to the external terminal 50 (step S18b).

外部端末５０は、当該更新後の次画面２２０のデータを受信すると、ステップＳ６２からステップＳ６６ｂに進む。ステップＳ６６ｂでは、更新後の次画面２２０とＩＭＥの操作画面５１０とが重ねて表示される。この結果、図１４と同様の画面がタッチパネル７５に表示される。   When the external terminal 50 receives the data of the updated next screen 220, the process proceeds from step S62 to step S66b. In step S66b, the updated next screen 220 and the IME operation screen 510 are displayed in an overlapping manner. As a result, a screen similar to that shown in FIG.

なお、図１７および図１８では図示していないが、次画面２２０がＭＦＰ１０から外部端末５０に一旦送信されて表示（ステップＳ６６）された後に、ＩＭＥを用いて文字が（更に）入力された場合にも、文字が入力されるごとにステップ６４ｂ，Ｓ１７，Ｓ１８ｂ，Ｓ６６等と同様の処理が実行されればよい。詳細には、文字が入力されるごとに、入力文字情報が外部端末５０からＭＦＰ１０に送信され（ステップＳ６４ｂと同様の処理）、入力文字が反映された次画面２２０が入力文字情報に基づいてＭＦＰ１０により生成（更新）される（ステップＳ１７と同様の処理）。そして、更新後の次画面２２０が、ＭＦＰ１０から外部端末５０に送信され（ステップＳ１８ｂ）、外部端末５０により受信されて表示される（ステップＳ６６と同様の処理）。   Although not shown in FIGS. 17 and 18, when the next screen 220 is once transmitted from the MFP 10 to the external terminal 50 and displayed (step S <b> 66), then characters are input (further) using the IME. In addition, the same processing as in steps 64b, S17, S18b, S66 and the like may be executed every time a character is input. Specifically, each time a character is input, input character information is transmitted from the external terminal 50 to the MFP 10 (the same processing as in step S64b), and the next screen 220 on which the input character is reflected is displayed on the MFP 10 based on the input character information. Is generated (updated) (the same processing as step S17). Then, the updated next screen 220 is transmitted from the MFP 10 to the external terminal 50 (step S18b), and is received and displayed by the external terminal 50 (the same processing as step S66).

＜３．第３実施形態＞
第３実施形態は、第１実施形態の変形例である。以下では、第１実施形態との相違点を中心に説明する。 <3. Third Embodiment>
The third embodiment is a modification of the first embodiment. Below, it demonstrates centering on difference with 1st Embodiment.

上記第１実施形態においては、ＩＭＥの入力文字の表示欄５１２（図５参照）の位置と、文字入力画面２２０の入力文字表示欄３５１の位置（図６参照）とは必ずしも同一ではない。そのため、ＩＭＥによる文字入力中に、文字入力画面２２０が表示されると、入力文字の表示位置が移動する。   In the first embodiment, the position of the IME input character display field 512 (see FIG. 5) and the position of the input character display field 351 of the character input screen 220 (see FIG. 6) are not necessarily the same. Therefore, when the character input screen 220 is displayed during character input by IME, the display position of the input character moves.

そこで、この第３実施形態においては、ＩＭＥによる文字入力中に文字入力画面２２０が表示される場合であっても、入力文字の表示位置が移動することを回避することが可能な技術について説明する。具体的には、ＩＭＥの入力文字の表示欄５１２（５１２ｃ）（図２１参照）の表示位置が文字入力画面２２０の入力文字表示欄３５１の表示位置に合わせられることによって、入力文字の表示位置の移動が回避され得る。図２１は、第３実施形態に係るＩＭＥの表示画面を示す図である。図２１を図５と比較すると判るように、入力文字表示欄５１２の表示位置が互いに異なっている。   Therefore, in the third embodiment, a technique capable of avoiding the movement of the input character display position even when the character input screen 220 is displayed during character input by the IME will be described. . Specifically, the display position of the input character is displayed by matching the display position of the input character display field 512 (512c) (see FIG. 21) of the IME with the display position of the input character display field 351 of the character input screen 220. Movement can be avoided. FIG. 21 is a diagram illustrating a display screen of the IME according to the third embodiment. As can be seen by comparing FIG. 21 with FIG. 5, the display positions of the input character display field 512 are different from each other.

図２２は、第３実施形態に係るＭＦＰ１０の動作を示すフローチャートであり、図２３は、第３実施形態に係る外部端末５０の動作を示すフローチャートである。また、図２４は、第３実施形態に係る画像形成システム１の動作例を示すタイミングチャートである。   FIG. 22 is a flowchart showing the operation of the MFP 10 according to the third embodiment, and FIG. 23 is a flowchart showing the operation of the external terminal 50 according to the third embodiment. FIG. 24 is a timing chart showing an operation example of the image forming system 1 according to the third embodiment.

図２２に示すように、第３実施形態に係るＭＦＰ１０の動作のうち、ステップＳ１４以外は、第１実施形態（図８参照）と同様である。ステップＳ１４（Ｓ１４ｃ）においては、ＩＭＥ起動指令のみならず、文字入力画面２２０の文字入力欄３５１の位置情報およびサイズ情報もがＭＦＰ１０から外部端末５０に送信される。当該位置情報としては、たとえば、文字入力欄３５１の基準位置（矩形状の文字入力欄３５１の左上頂点の位置）の座標値等が用いられれば良い。また、サイズ情報としては、文字入力欄３５１の縦方向および横方向のサイズ（画素数）が用いられれば良い。   As shown in FIG. 22, the operation of the MFP 10 according to the third embodiment is the same as that of the first embodiment (see FIG. 8) except for step S14. In step S <b> 14 (S <b> 14 c), not only the IME activation command but also the position information and size information in the character input field 351 of the character input screen 220 are transmitted from the MFP 10 to the external terminal 50. As the position information, for example, the coordinate value of the reference position of the character input field 351 (the position of the upper left vertex of the rectangular character input field 351) may be used. Further, as the size information, the vertical size and horizontal size (number of pixels) of the character input field 351 may be used.

図２３に示すように、第３実施形態に係る外部端末５０の動作のうち、ステップＳ５４，Ｓ６１，Ｓ６４以外は、第１実施形態（図８参照）と同様である。   As shown in FIG. 23, the operations of the external terminal 50 according to the third embodiment are the same as those in the first embodiment (see FIG. 8) except for steps S54, S61, and S64.

図２３に示すように、外部端末５０は、ＩＭＥの起動指令を受信する（ステップＳ５３）とともに、文字入力画面２２０の文字入力欄３５１の位置情報およびサイズ情報をも受信する（ステップＳ５４）。そして、ステップＳ６１ｃのＩＭＥ起動時には、外部端末５０は、文字入力画面２２０の文字入力欄３５１の位置情報およびサイズ情報に基づいて、ＩＭＥにおける入力文字の表示欄５１２の表示位置および表示大きさを制御する。具体的には、ＩＭＥの起動処理（表示処理）において、ＩＭＥにおける入力文字の表示欄５１２（５１２ｃ）が文字入力画面２２０の文字入力欄３５１と同じ位置および大きさを有するように表示される（図２１参照）。   As shown in FIG. 23, the external terminal 50 receives the IME start command (step S53) and also receives the position information and size information of the character input field 351 of the character input screen 220 (step S54). At the time of IME activation in step S61c, the external terminal 50 controls the display position and display size of the input character display column 512 in the IME based on the position information and size information of the character input column 351 of the character input screen 220. To do. Specifically, in the IME startup process (display process), the input character display field 512 (512c) in the IME is displayed so as to have the same position and size as the character input field 351 of the character input screen 220 ( (See FIG. 21).

また、ステップＳ６４ｃにおいては、ＩＭＥにて入力された入力文字が、図２１に示す表示位置に配置された表示欄５１２（５１２ｃ）に表示される。
以上のような動作によれば、ＩＭＥの起動時（Ｓ６１ｃ）において、ＩＭＥの入力文字の表示欄５１２（５１２ｃ）（図２１参照）の表示位置が文字入力画面２２０の入力文字表示欄３５１の表示位置に合わせられるので、入力文字の表示位置の移動が回避され得る。
なお、この第３実施形態に係る思想を第２実施形態に対して適用するようにしてもよい。より詳細には、ＩＭＥの入力文字の表示欄５１２（図２１参照）の表示位置を文字入力画面２２０の入力文字表示欄３５１の表示位置に合わせる思想を、第２実施形態に係る思想と組み合わせるようにしてもよい。 In step S64c, the input character input by IME is displayed in the display column 512 (512c) arranged at the display position shown in FIG.
According to the above operation, when the IME is activated (S61c), the display position of the IME input character display field 512 (512c) (see FIG. 21) is displayed in the input character display field 351 of the character input screen 220. Since the position is matched, the movement of the display position of the input character can be avoided.
Note that the idea according to the third embodiment may be applied to the second embodiment. More specifically, the idea of matching the display position of the IME input character display field 512 (see FIG. 21) with the display position of the input character display field 351 of the character input screen 220 is combined with the idea according to the second embodiment. It may be.

＜４．変形例等＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。 <4. Modified example>
Although the embodiments of the present invention have been described above, the present invention is not limited to the contents described above.

たとえば、上記各実施形態等においては、ＩＭＥとして、ソフトウエアキーボードを有するもの（キーボード画面タイプのＩＭＥ）を例示したが、これに限定されず、図２５に示すような手書き入力タイプのものであってもよい。詳細には、上記各実施形態等において、キーボードタイプの操作画面５１０に代えて手書き入力タイプの操作画面５２０が用いられるようにしてもよい。操作画面５２０には手書き文字入力欄５２４等が設けられる。この場合、たとえば図２６に示すように、外部端末５０にて起動されたＩＭＥの操作画面５２０とＭＦＰ１０から送信されてきた操作画面（文字入力画面）２２０とが重ねて表示されればよい。なお、図２７に示すように、第３実施形態と同様に、ＩＭＥの入力文字の表示欄５２２ｂ（図２７参照）の表示位置が文字入力画面２２０の入力文字表示欄３５１（図６等参照）の表示位置に合わせられるようにしてもよい。   For example, in each of the above-described embodiments, the IME has a software keyboard (keyboard screen type IME). However, the IME is not limited to this, and is a handwriting input type as shown in FIG. May be. Specifically, in each of the above-described embodiments, a handwriting input type operation screen 520 may be used instead of the keyboard type operation screen 510. The operation screen 520 is provided with a handwritten character input field 524 and the like. In this case, for example, as shown in FIG. 26, the IME operation screen 520 activated by the external terminal 50 and the operation screen (character input screen) 220 transmitted from the MFP 10 may be displayed in an overlapping manner. 27, as in the third embodiment, the display position of the IME input character display field 522b (see FIG. 27) is the input character display field 351 of the character input screen 220 (see FIG. 6 and the like). The display position may be adjusted.

また、上記第１実施形態の変形例（図１５，図１６等参照）として説明した各種の思想は、上記第２実施形態および第３実施形態等に対しても同様に適用することが可能である。   Various ideas described as modifications of the first embodiment (see FIGS. 15 and 16, etc.) can be similarly applied to the second embodiment and the third embodiment. is there.

１ 画像形成システム
１０ ＭＦＰ（画像形成装置）
５０ 外部端末（遠隔操作装置）
７５ タッチパネル
２００ （ＭＦＰからの画面データに基づく）操作画面
５００ （ＩＭＥの）操作画面 1 image forming system 10 MFP (image forming apparatus)
50 External terminal (remote control device)
75 Touch panel 200 Operation screen (based on screen data from MFP) 500 (IME) operation screen

Claims (12)

画像形成システムであって、
画像形成装置と、
前記画像形成装置を遠隔操作する遠隔操作装置と、
を備え、
前記画像形成装置は、
前記遠隔操作装置に表示された操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記遠隔操作装置から受信する受信手段と、
前記操作入力が文字入力画面の表示指示であるか否かを前記操作入力情報に基づいて判定する判定手段と、
前記操作入力が文字入力画面の表示指示である旨が判定されると、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記遠隔操作装置に送信する送信手段と、
を有し、
前記遠隔操作装置は、
前記操作画面を表示する表示手段と、
前記操作入力情報を前記画像形成装置に送信するとともに、前記起動指令を前記画像形成装置から受信する通信手段と、
前記起動指令が前記画像形成装置から受信されると、前記ソフトウエアを起動して前記表示手段に表示する表示制御手段と、
を有することを特徴とする画像形成システム。 An image forming system,
An image forming apparatus;
A remote operation device for remotely operating the image forming apparatus;
With
The image forming apparatus includes:
Receiving means for receiving, from the remote operation device, operation input information that is information related to an operation input from an operator for the operation screen displayed on the remote operation device;
Determining means for determining whether or not the operation input is a display instruction for a character input screen based on the operation input information;
When it is determined that the operation input is a display instruction for a character input screen, activation that software for performing character input and that is installed in the remote operation device should be activated Transmitting means for transmitting a command to the remote control device;
Have
The remote control device is:
Display means for displaying the operation screen;
Communication means for transmitting the operation input information to the image forming apparatus and receiving the start command from the image forming apparatus;
Display control means for activating the software and displaying it on the display means when the activation command is received from the image forming apparatus;
An image forming system comprising: 請求項１に記載の画像形成システムにおいて、
前記画像形成装置の前記送信手段は、前記起動指令に加えて、前記文字入力画面の画面データをも前記遠隔操作装置に送信し、
前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアの起動処理中に前記文字入力画面の前記画面データが受信されると、前記ソフトウエアの起動完了を待った後に前記画面データに基づく前記文字入力画面の表示処理を開始することを特徴とする画像形成システム。 The image forming system according to claim 1,
The transmission unit of the image forming apparatus transmits screen data of the character input screen to the remote control device in addition to the start command,
When the screen data of the character input screen is received during the activation process of the software , the display control means of the remote control device waits for completion of activation of the software and then inputs the character based on the screen data. An image forming system characterized by starting display processing of a screen. 請求項１に記載の画像形成システムにおいて、
前記画像形成装置の前記送信手段は、前記起動指令に加えて、前記文字入力画面の画面データをも前記遠隔操作装置に送信し、
前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアの起動処理中に前記文字入力画面の前記画面データが受信されると、前記ソフトウエアの起動完了を待つことなく前記画面データに基づく前記文字入力画面の表示処理を開始することを特徴とする画像形成システム。 The image forming system according to claim 1,
The transmission unit of the image forming apparatus transmits screen data of the character input screen to the remote control device in addition to the start command,
When the screen data of the character input screen is received during the software activation process, the display control unit of the remote control device receives the character based on the screen data without waiting for completion of the software activation. An image forming system characterized by starting display processing of an input screen. 請求項１ないし請求項３のいずれかに記載の画像形成システムにおいて、
前記画像形成装置の前記送信手段は、前記起動指令に加えて、前記文字入力画面の画面データをも前記遠隔操作装置に送信し、
前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアの操作画面と前記画面データに基づく前記文字入力画面とを重ねて表示するとともに、前記ソフトウエアにて入力された文字を前記文字入力画面の文字入力欄に合成して表示することを特徴とする画像形成システム。 The image forming system according to any one of claims 1 to 3,
The transmission unit of the image forming apparatus transmits screen data of the character input screen to the remote control device in addition to the start command,
The display control means of the remote control device displays the operation screen of the software and the character input screen based on the screen data in a superimposed manner, and displays characters input by the software on the character input screen. An image forming system characterized by combining and displaying in a character input field. 請求項１ないし請求項３のいずれかに記載の画像形成システムにおいて、
前記遠隔操作装置の前記通信手段は、起動された前記ソフトウエアにて入力された文字の入力文字情報を前記画像形成装置に送信し、
前記画像形成装置は、
前記入力文字情報が前記遠隔操作装置から受信されると、前記ソフトウエアにて入力された文字を前記入力文字情報に基づき判定し、当該文字をその文字入力欄に追加した更新後の前記文字入力画面を生成する生成手段、
をさらに有し、
前記画像形成装置の前記送信手段は、前記更新後の前記文字入力画面の画面データを前記遠隔操作装置に送信し、
前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアの操作画面と前記更新後の前記文字入力画面とを重ねて表示することを特徴とする画像形成システム。 The image forming system according to any one of claims 1 to 3,
The communication means of the remote control device transmits input character information of characters input by the activated software to the image forming device,
The image forming apparatus includes:
When the input character information is received from the remote operation device, the character input by the software is determined based on the input character information, and the character input after the update is performed by adding the character to the character input field. Generating means for generating a screen;
Further comprising
The transmission unit of the image forming apparatus transmits screen data of the updated character input screen to the remote operation device;
The image forming system, wherein the display control means of the remote control device displays the operation screen of the software and the updated character input screen in an overlapping manner. 請求項１ないし請求項４のいずれかに記載の画像形成システムにおいて、
前記画像形成装置の前記送信手段は、前記起動指令に加えて、前記文字入力画面の文字入力欄の位置情報をも前記遠隔操作装置に送信し、
前記遠隔操作装置の前記表示制御手段は、前記ソフトウエアを起動する際に、前記位置情報に基づいて前記ソフトウエアの文字入力欄の位置を前記文字入力画面の文字入力欄の位置に合わせて表示することを特徴とする画像形成システム。 The image forming system according to any one of claims 1 to 4,
The transmission unit of the image forming apparatus transmits position information of a character input field of the character input screen to the remote control device in addition to the start command,
Display said display control means of the remote controller, the when starting the software, by aligning the text entry field of the software on the basis of the position information on the position of the text entry field of the character input screen An image forming system. 遠隔操作装置により遠隔操作される画像形成装置であって、
前記遠隔操作装置に表示された操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記遠隔操作装置から受信する受信手段と、
前記操作入力が文字入力画面の表示指示であるか否かを前記操作入力情報に基づいて判定する判定手段と、
前記操作入力が文字入力画面の表示指示である旨が判定されると、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記遠隔操作装置に送信する送信手段と、
を備えることを特徴とする画像形成装置。 An image forming apparatus remotely operated by a remote operation device,
Receiving means for receiving, from the remote operation device, operation input information that is information related to an operation input from an operator for the operation screen displayed on the remote operation device;
Determining means for determining whether or not the operation input is a display instruction for a character input screen based on the operation input information;
When it is determined that the operation input is a display instruction for a character input screen, activation that software for performing character input and that is installed in the remote operation device should be activated Transmitting means for transmitting a command to the remote control device;
An image forming apparatus comprising: 請求項７に記載の画像形成装置において、
前記ソフトウエアにて入力された文字の入力文字情報が前記遠隔操作装置から受信されると、前記ソフトウエアにて入力された文字を前記入力文字情報に基づき判定し、当該文字をその文字入力欄に追加した更新後の前記文字入力画面を生成する生成手段、
をさらに備え、
前記画像形成装置の前記送信手段は、前記更新後の前記文字入力画面の画面データをも前記遠隔操作装置に送信することを特徴とする画像形成装置。 The image forming apparatus according to claim 7.
When input character information of a character input by the software is received from the remote control device, the character input by the software is determined based on the input character information, and the character is input to the character input field. Generating means for generating the updated character input screen added to
Further comprising
The image forming apparatus, wherein the transmission unit of the image forming apparatus also transmits screen data of the updated character input screen to the remote operation device. 遠隔操作装置により遠隔操作される画像形成装置に内蔵されたコンピュータに、
ａ）前記遠隔操作装置に表示された操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記遠隔操作装置から受信するステップと、
ｂ）前記操作入力が文字入力画面の表示指示であるか否かを前記操作入力情報に基づいて判定するステップと、
ｃ）前記操作入力が文字入力画面の表示指示である旨が判定されると、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記遠隔操作装置に送信するステップと、
を実行させるためのプログラム。 In the computer built in the image forming apparatus remotely operated by the remote operation device,
a) receiving operation input information from the remote operation device, which is information related to an operation input from an operator for the operation screen displayed on the remote operation device;
b) determining whether the operation input is a display instruction for a character input screen based on the operation input information;
When that c) the operation input is an instruction to display the character input screen is determined, the remote control device a software for inputting characters Installation - that should be activated software that is Le Sending a start command to the remote control device;
A program for running 請求項９に記載のプログラムにおいて、
ｄ）前記ソフトウエアにて入力された文字の入力文字情報を前記遠隔操作装置から受信するステップと、
ｅ）前記ソフトウエアにて入力された文字を前記入力文字情報に基づき判定し、当該文字をその文字入力欄に追加した更新後の前記文字入力画面を前記遠隔操作装置に送信するステップと、
を前記コンピュータにさらに実行させるためのプログラム。 The program according to claim 9,
d) receiving input character information of characters input by the software from the remote control device;
e) determining a character input by the software based on the input character information, and transmitting the updated character input screen in which the character is added to the character input field to the remote control device;
For causing the computer to further execute. 画像形成装置を遠隔操作する遠隔操作装置であって、
前記画像形成装置を遠隔操作するための操作画面を表示する表示手段と、
前記操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記画像形成装置に送信するとともに、前記操作画面に対する操作者からの操作入力が文字入力画面の表示指示である場合に、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記画像形成装置から受信する通信手段と、
前記起動指令が前記画像形成装置から受信されると、前記ソフトウエアを起動して前記表示手段に表示する表示制御手段と、
を備えることを特徴とする遠隔操作装置。 A remote operation device for remotely operating an image forming apparatus,
Display means for displaying an operation screen for remotely operating the image forming apparatus;
Transmits the information in which the operation input information about the operation input from an operator for the operation screen to the image forming apparatus, when the operation input from an operator to said operating screen is a display instruction of the character input screen, characters Communication means for receiving a start command from the image forming apparatus to start the software that is input and is installed in the remote control device;
Display control means for activating the software and displaying it on the display means when the activation command is received from the image forming apparatus;
A remote control device comprising: 画像形成装置を遠隔操作する遠隔操作装置に内蔵されたコンピュータに、
ａ）前記画像形成装置を遠隔操作するための操作画面を表示するステップと、
ｂ）前記操作画面に対する操作者からの操作入力に関する情報である操作入力情報を前記画像形成装置に送信するステップと、
ｃ）前記操作画面に対する操作者からの操作入力が文字入力画面の表示指示である場合に、文字入力を行うためのソフトウエアであって前記遠隔操作装置にインスト−ルされているソフトウエアを起動すべき旨の起動指令を前記画像形成装置から受信するステップと、
ｄ）前記起動指令が前記画像形成装置から受信されると、前記ソフトウエアを起動して表示するステップと、
を実行させるためのプログラム。 In the computer built in the remote control device that remotely controls the image forming device,
a) displaying an operation screen for remotely operating the image forming apparatus;
b) transmitting operation input information, which is information related to an operation input from an operator to the operation screen, to the image forming apparatus;
If c) an operation input from an operator to said operating screen is a display instruction of the character input screen, installation in the remote control device a software for inputting characters - Start software that is Le Receiving an activation command to the effect from the image forming apparatus;
d) activating and displaying the software when the activation command is received from the image forming apparatus;
A program for running
JP2014007238A 2014-01-17 2014-01-17 Image forming system, image forming apparatus, remote control device, and program Active JP6260290B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014007238A JP6260290B2 (en) 2014-01-17 2014-01-17 Image forming system, image forming apparatus, remote control device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014007238A JP6260290B2 (en) 2014-01-17 2014-01-17 Image forming system, image forming apparatus, remote control device, and program

Publications (2)

Publication Number Publication Date
JP2015135633A JP2015135633A (en) 2015-07-27
JP6260290B2 true JP6260290B2 (en) 2018-01-17

Family

ID=53767404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014007238A Active JP6260290B2 (en) 2014-01-17 2014-01-17 Image forming system, image forming apparatus, remote control device, and program

Country Status (1)

Country Link
JP (1) JP6260290B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6816487B2 (en) * 2016-12-08 2021-01-20 富士ゼロックス株式会社 Remote control device, remote control system and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3815343B2 (en) * 2002-02-19 2006-08-30 ソニー株式会社 Viewing device and text information output method
JP2003316490A (en) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd Remote control system and method thereof
JP2012048442A (en) * 2010-08-26 2012-03-08 Ricoh Co Ltd Image forming apparatus, screen sharing method, and screen sharing program
JP5510236B2 (en) * 2010-09-21 2014-06-04 コニカミノルタ株式会社 Image forming apparatus, display control method, and display control program

Also Published As

Publication number Publication date
JP2015135633A (en) 2015-07-27

Similar Documents

Publication Publication Date Title
US9648180B2 (en) Information processing system performing operation based on tag information, information processing device, portable terminal and non-transitory computer readable recording medium
US9282206B2 (en) Portable information terminal and recording medium
JP5928436B2 (en) Remote control device, remote operation device, screen transmission control method, screen display control method, screen transmission control program, and screen display control program
US9635200B2 (en) Image forming system, image forming apparatus capable of communicating with a portable terminal, portable terminal capable of communicating with an image forming apparatus, and recording medium
JP2016177776A (en) Information processing apparatus, information processing method, program, and information processing system
JP2016042668A (en) Information processing system, terminal device, image forming apparatus, and information processing program
JP2015055902A (en) Compound machine
JP6066108B2 (en) Electronic document generation system and program
JP5768841B2 (en) Image forming system, image forming apparatus, remote control device, and program
JP5853999B2 (en) Image forming system, image forming apparatus, remote control device, and program
JP5983673B2 (en) Electronic document generation system, image forming apparatus, and program
JP6260290B2 (en) Image forming system, image forming apparatus, remote control device, and program
JP6399915B2 (en) Image reading apparatus, information processing method, and program
JP6213297B2 (en) Image forming system, image forming apparatus, remote control device, and program
US10785376B2 (en) Image processing apparatus for sending user interface data
JP6531427B2 (en) PROCESSING SYSTEM, TERMINAL DEVICE, PROCESSING DEVICE, PROCESSING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM
JP2015133023A (en) Image processing system, image processor, and portable terminal device
JP6245079B2 (en) Mobile terminal, print request method
US11876942B2 (en) Information processing apparatus, information processing method and non-transitory recording medium
JP2018185380A (en) Electronic apparatus, program, and method for controlling electronic apparatus
JP2016131292A (en) Image processing system, image processing device and program
JP2015215765A (en) Portable terminal device, image file storage processing method, and storage processing program
JP2017092603A (en) Image processing apparatus, remote control method and remote control program
JP6390131B2 (en) Process execution system, process execution device, and process execution program
JP2022081484A (en) Image forming system, portable terminal, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R150 Certificate of patent or registration of utility model

Ref document number: 6260290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150