JP6089702B2 - Image processing apparatus, screen data generation method, and program - Google Patents

Image processing apparatus, screen data generation method, and program Download PDF

Info

Publication number
JP6089702B2
JP6089702B2 JP2012289151A JP2012289151A JP6089702B2 JP 6089702 B2 JP6089702 B2 JP 6089702B2 JP 2012289151 A JP2012289151 A JP 2012289151A JP 2012289151 A JP2012289151 A JP 2012289151A JP 6089702 B2 JP6089702 B2 JP 6089702B2
Authority
JP
Japan
Prior art keywords
terminal device
mobile terminal
screen
key
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012289151A
Other languages
Japanese (ja)
Other versions
JP2014131250A (en
Inventor
利行 前島
利行 前島
俊幹 新地
俊幹 新地
冨田　篤
篤 冨田
優作 田中
優作 田中
征平 市山
征平 市山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012289151A priority Critical patent/JP6089702B2/en
Publication of JP2014131250A publication Critical patent/JP2014131250A/en
Application granted granted Critical
Publication of JP6089702B2 publication Critical patent/JP6089702B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Control Or Security For Electrophotography (AREA)

Description

この発明は、スマートフォン、タブレット端末等の携帯端末装置を無線通信等により接続可能な多機能デジタル画像形成装置であるＭＦＰ（Multi Function Peripherals）等の画像処理装置、画面データの生成方法、及びプログラムに関する。
The present invention, a smart phone, an image processing apparatus such as MFP (Multi Function Peripherals) is a multifunctional digital image forming apparatus connectable by wireless communication such as a portable terminal device such as a tablet terminal, the method of generating the screen data, and program About.

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。   In recent years, portable terminal devices such as smartphones and tablet terminals can store digitized documents, and can browse and edit documents regardless of time and place. In addition, a file edited by the portable terminal device can be transmitted to an image processing apparatus such as the MFP, and the image processing apparatus can execute processing such as printing or saving. Furthermore, a file composed of image data of a document read by the scanner unit of the image processing apparatus can be transmitted to the mobile terminal device, and can be edited by the mobile terminal device.

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。   However, it is necessary to operate the mobile terminal device and the image processing device separately, and there is a problem that the operation becomes complicated.

そこで、最近、画像処理装置の操作用画面を携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。この連携システムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。この画面データに基づくリモート画面は、本来は画像処理装置の操作パネルに表示される画面と同じである。   Therefore, recently, the operation screen of the image processing apparatus is displayed as a remote screen on the display unit of the portable terminal device, and the image processing apparatus and the portable terminal device can be operated cooperatively from the portable terminal device. A system has been proposed. In this cooperative system, the remote screen on the image processing device side displayed on the display unit of the mobile terminal device is displayed based on the screen data transmitted from the image processing device. The remote screen based on this screen data is essentially the same as the screen displayed on the operation panel of the image processing apparatus.

つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを生成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。   That is, information indicating that an operation has been performed is transmitted from the mobile terminal device to the image processing device, and the image processing device generates next screen data based on this information, and transmits this screen data to the mobile terminal device. The mobile terminal device updates and displays the remote screen based on the screen data.

一方、携帯端末装置はタッチパネルを備えており、ユーザは表示画面に対してタッチ操作を行うと、タッチ操作の位置情報（座標データ）等が画像処理装置に送信され、画像処理装置はタッチ操作に応じて次画面データを生成し、あるいは指示されたジョブを実行する。   On the other hand, the mobile terminal device includes a touch panel. When the user performs a touch operation on the display screen, position information (coordinate data) of the touch operation is transmitted to the image processing device, and the image processing device performs the touch operation. In response, the next screen data is generated or the designated job is executed.

ところで、画像処理装置にはハードテンキー、ハードキーボード、スイッチ等のハードウェアにより構成された外キーが設けられていることが多い。   By the way, the image processing apparatus is often provided with an external key composed of hardware such as a hard numeric keypad, a hard keyboard, and a switch.

また、操作画面が前記外キーを使用して操作可能な例えば設定値入力エリアを有する画面である場合がある。この場合、画像処理装置の操作パネルに操作用画面が表示されていれば、前記外キーを用いて設定値を入力することができる。また、操作パネルにソフトキーボードやソフトテンキー等のソフトウェアキーを表示し、該ソフトウェアキーにより設定値を入力できる場合もある。   In some cases, the operation screen may be a screen having, for example, a set value input area that can be operated using the outer key. In this case, if an operation screen is displayed on the operation panel of the image processing apparatus, a set value can be input using the outer key. In some cases, software keys such as a soft keyboard and a software numeric keypad are displayed on the operation panel, and setting values can be input using the software keys.

一方、携帯端末装置での設定値の入力は、画面上の設定値入力表示エリアをタップすると表示されるソフトウェアキーにより入力する方式が用いられていることが多いが、ユーザーが画像処理装置の近傍で携帯端末装置を操作する場合には、画面と重なって表示されるソフトウェアキーを表示させる必要がないことから、前記物理的な外キーを用いた方が操作し易い場合がある。   On the other hand, the setting value input in the mobile terminal device is often performed by a method of inputting by a software key displayed when the setting value input display area on the screen is tapped, but the user is in the vicinity of the image processing device. When the mobile terminal device is operated, it is not necessary to display software keys that are displayed so as to overlap the screen, and therefore it may be easier to operate using the physical external key.

なお、特許文献１には、オプション機器の接続状態に応じて最適なメニュー画面を選択表示するとともに、オプション機器の機能設定項目が階層構造になっている場合、オプション機器が接続されたとき、接続されたオプション機器の設定項目を最上位に変更する技術が開示されている。   In Patent Document 1, an optimal menu screen is selected and displayed according to the connection state of an optional device, and when the optional device function setting items have a hierarchical structure, the connection is made when the optional device is connected. A technique for changing the setting item of the optional device to the top is disclosed.

また、特許文献２には、パネルに表示された入力エリアに対して、どの入力手段が使用できるかを示したアイコンを小表示エリアに表示し、どの入力手段を使えば良いのかを明瞭にしつつ、入力手段を柔軟に変更できる技術が開示されている。   In Patent Document 2, an icon indicating which input means can be used for the input area displayed on the panel is displayed in the small display area, while clarifying which input means should be used. The technique which can change an input means flexibly is disclosed.

また、特許文献３には、接続された外部機器に応じて表示内容を変更する技術が開示されている。   Patent Document 3 discloses a technique for changing display contents according to a connected external device.

特開２００７−８３６２０号公報JP 2007-83620 A 特開２００６−１５５２３２号公報JP 2006-155232 A 特開２００５−５５４９号公報JP 2005-5549 A

しかし、前述したように、ユーザーが画像処理装置の近傍で携帯端末装置を操作する場合に、前記外キーを使用したい場合であっても、従来では、画像処理装置と携帯端末装置との距離の遠近に関係なく、ソフトウェアキーを使用できる表示しか携帯端末装置になされないため、画像処理装置の外キーを使用できることをユーザーが認識することができず、このため操作性の点で問題があった。   However, as described above, when the user operates the portable terminal device in the vicinity of the image processing device, even if the user wants to use the outer key, conventionally, the distance between the image processing device and the portable terminal device is not known. Regardless of the distance, only the display that can use the software key is displayed on the portable terminal device, so that the user cannot recognize that the external key of the image processing device can be used, which has a problem in terms of operability. .

このような問題は、前述した特許文献１〜３に記載の技術によっても解決することはできなかった。   Such a problem could not be solved even by the techniques described in Patent Documents 1 to 3 described above.

この発明は、上記技術的背景に鑑みてなされたものであり、携帯端末装置にリモート画面として表示される画像処理装置の操作用画面が、画像処理装置側のハードウェアで構成される外キーを使用して入力可能な操作画面である場合は、画像処理装置と携帯端末装置との距離に応じて、画像処理装置の外キーを使用可能であることをユーザーが認識できるようなリモート画面を携帯端末装置に表示させることができる画像処理装置を提供し、さらに該画像処理装置で実行される画面データの生成方法、及びプログラムを提供することを課題とする。
The present invention has been made in view of the above technical background, and the operation screen of the image processing apparatus displayed as a remote screen on the mobile terminal device has an external key configured by hardware on the image processing apparatus side. If the operation screen can be used and input, a remote screen that allows the user to recognize that the external key of the image processing device can be used according to the distance between the image processing device and the mobile terminal device is carried. providing an image processing apparatus which can be displayed on the terminal device further method for generating screen data to be executed by the image processing apparatus, and an object thereof is to provide a program.

上記課題は、以下の手段によって解決される。
（１）携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーと、前記接続手段により接続された携帯端末装置との距離を検出する距離検出手段と、自装置の操作画面の画面データを生成すると共に、前記操作画面が前記外キーを使用して入力可能な場合において、前記距離検出手段により検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成し、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成する画面生成手段と、前記画面生成手段により生成された画面データを前記携帯端末装置に送信する送信手段と、を備えたことを特徴とする画像処理装置。
（２）前記画面生成手段は、前記外キーの配置情報を前記画面データとして生成するとともに、携帯端末装置に前記配置情報に対応して表示された外キーをユーザーが操作したときの外キーのオン、オフ情報を、前記携帯端末装置から受信する受信手段を備えている前項１に記載の画像処理装置。
（３）前記画面生成手段は、前記外キーに対応するキーが配置された操作画面を前記画面データとして生成するとともに、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信手段を備えている前項１に記載の画像処理装置。
（４）前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである前項１〜３のいずれかに記載の画像処理装置。
（５）前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である前項１〜４のいずれかに記載の画像処理装置。
（６）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である前項１〜５のいずれかに記載の画像処理装置。
（７）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合の前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である前項１〜６のいずれかに記載の画像処理装置。
（８）前記携帯端末装置との距離が一定値を超える場合に操作画面に表示される前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである前項１〜７のいずれかに記載の画像処理装置。
（９）前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値を超えた場合には、携帯端末装置との距離が一定値を超えた場合の画面データを再度生成し、携帯端末装置へ送信する前項１〜８のいずれかに記載の画像処理装置。
（１０）前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値以下となった場合には、携帯端末装置との距離が一定値以下の場合の画面データを再度生成し、携帯端末装置へ送信する前項１〜９のいずれかに記載の画像処理装置。
（１１）携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置において実行される画面データの生成方法であって、前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、自装置の操作画面の画面データを生成すると共に、前記操作画面が前記外キーを使用して入力可能な場合において、前記距離検出ステップにおいて検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成し、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成する画面生成ステップと、前記画面生成ステップにおいて生成された画面データを前記携帯端末装置に送信する送信ステップと、を備えたことを特徴とする画面データの生成方法。
（１２）携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置のコンピュータに、前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、自装置の操作画面の画面データを生成すると共に、前記操作画面が前記外キーを使用して入力可能な場合において、前記距離検出ステップにおいて検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成し、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成する画面生成ステップと、前記画面生成ステップにおいて生成された画面データを前記携帯端末装置に送信する送信ステップと、を実行させるための画面データの生成プログラム。
（１３）前記画面生成ステップでは、前記外キーの配置情報を前記画面データとして生成する処理を前記コンピュータに実行させるとともに、携帯端末装置に前記配置情報に対応して表示された外キーをユーザーが操作したときの外キーのオン、オフ情報を、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる前項１２に記載の画面データの生成プログラム。
（１４）前記画面生成ステップでは、前記外キーに対応するキーが配置された操作画面を前記画面データとして生成する前記コンピュータに実行させるとともに、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる前項１２に記載の画面データの生成プログラム。
（１５）前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである前項１２〜１４のいずれかに記載の画面データの生成プログラム。
（１６）前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である前項１２〜１５のいずれかに記載の画面データの生成プログラム。
（１７）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である前項１２〜１６のいずれかに記載の画面データの生成プログラム。
（１８）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合の前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である前項１２〜１７のいずれかに記載の画面データの生成プログラム。
（１９）前記携帯端末装置との距離が一定値を超える場合に操作画面に表示される前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである前項１２〜１８のいずれかに記載の画面データの生成プログラム。
（２０）前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値を超えた場合には、携帯端末装置との距離が一定値を超えた場合の画面データを再度生成し、携帯端末装置へ送信する処理を前記コンピュータにさらに実行させる前項１２〜１９のいずれかに記載の画面データの生成プログラム。
（２１）前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値以下となった場合には、携帯端末装置との距離が一定値以下の場合の画面データを再度生成し、携帯端末装置へ送信する処理を前記コンピュータに実行させる前項１２〜２０のいずれかに記載の画面データの生成プログラム。
（２２）携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーと、前記接続手段により接続された携帯端末装置との距離を検出する距離検出手段と、自装置の操作画面が前記外キーを使用して入力可能な場合において、前記距離検出手段により検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを前記携帯端末装置に送信する送信手段と、を備えたことを特徴とする画像処理装置。
（２３）前記画面データには前記外キーの配置情報が含まれ、携帯端末装置に前記配置情報に対応して表示された外キーをユーザーが操作したときの外キーのオン、オフ情報を、前記携帯端末装置から受信する受信手段を備えている前項２２に記載の画像処理装置。
（２４）前記操作画面には前記外キーに対応するキーが配置されており、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信手段を備えている前項２２に記載の画像処理装置。
（２５）前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである前項２２〜２４のいずれかに記載の画像処理装置。
（２６）前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である前項２２〜２５のいずれかに記載の画像処理装置。
（２７）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である前項２２〜２６のいずれかに記載の画像処理装置。
（２８）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である前項２２〜２７のいずれかに記載の画像処理装置。
（２９）前記送信手段は、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを前記携帯端末装置へ送信する前項２２〜２８のいずれかに記載の画像処理装置。
（３０）前記携帯端末装置との距離が一定値を超える場合に操作画面に表示される前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである前項２９に記載の画像処理装置。
（３１）前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値を超えた場合に、前記送信手段は前記画面データを携帯端末装置へ送信する前項２９または３０に記載の画像処理装置。
（３２）携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値以下となった場合には、前記送信手段は、携帯端末装置との距離が一定値以下の場合の画面データを再度携帯端末装置へ送信する前項２９〜３１のいずれかに記載の画像処理装置。
（３３）携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置のコンピュータに、前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、自装置の操作画面が前記外キーを使用して入力可能な場合において、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを前記携帯端末装置に送信する送信ステップと、を実行させるためのリモート画面制御プログラム。
（３４）前記画面データには前記外キーの配置情報が含まれ、携帯端末装置に前記配置情報に対応して表示された外キーをユーザーが操作したときの外キーのオン、オフ情報を、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる前項３３に記載のリモート画面制御プログラム。
（３５）前記操作画面には前記外キーに対応するキーが配置されており、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる前項３３に記載のリモート画面制御プログラム。
（３６）前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである前項３３〜３５のいずれかに記載のリモート画面制御プログラム。
（３７）前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である前項３３〜３６のいずれかに記載のリモート画面制御プログラム。
（３８）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である前項３３〜３７のいずれかに記載のリモート画面制御プログラム。
（３９）前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である前項３３〜３８のいずれかに記載のリモート画面制御プログラム。
（４０）前記送信ステップでは、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを前記携帯端末装置へ送信する処理を前記コンピュータに実行させる前項３３〜３９のいずれかに記載のリモート画面制御プログラム。
（４１）前記携帯端末装置との距離が一定値を超える場合に操作画面に表示される前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである前項４０に記載のリモート画面制御プログラム。
（４２）前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値を超えた場合に、前記送信ステップでは前記画面データを携帯端末装置へ送信する処理を前記コンピュータに実行させる前項４０または４１に記載のリモート画面制御プログラム。
（４３）携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値以下となった場合には、前記送信ステップでは、携帯端末装置との距離が一定値以下の場合の画面データを再度携帯端末装置へ送信する処理を前記コンピュータに実行させる前項４０〜４２のいずれかに記載のリモート画面制御プログラム。


The above problem is solved by the following means.
(1) Connection means connectable to the mobile terminal device, an external key configured by hardware, distance detection means for detecting a distance from the mobile terminal device connected by the connection means, and an operation screen of the own device When the operation screen can be input using the outer key and the distance from the mobile terminal device detected by the distance detecting means is equal to or smaller than a certain value, the outer key is generated. A screen corresponding to the external key when the distance from the mobile terminal device exceeds a certain value by generating screen data for causing the mobile terminal device to display the operation screen that prompts the use of the mobile phone as a remote screen. A screen generator for generating screen data for causing the portable terminal device to display an operation screen on which the key is displayed or an operation screen for prompting the display of the key as a remote screen. The image processing apparatus according to claim means, further comprising a transmission means for transmitting to said portable terminal device screen data generated by the screen generation part.
(2) The screen generation means generates the arrangement information of the outer key as the screen data, and the outer key when the user operates the outer key displayed on the portable terminal device corresponding to the arrangement information. 2. The image processing device according to item 1, further comprising receiving means for receiving on / off information from the portable terminal device.
(3) The screen generation means generates an operation screen on which a key corresponding to the external key is arranged as the screen data, and also selects a key corresponding to the external key on the operation screen displayed on the mobile terminal device. 2. The image processing apparatus according to claim 1, further comprising receiving means for receiving coordinate data of a touch position when the is operated from the portable terminal device.
(4) The image processing apparatus according to any one of Items 1 to 3, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch.
(5) The display for prompting the use of the external key when the distance from the mobile terminal device detected by the distance detection means is a predetermined value or less is a display of a message indicating that the external key can be used 1 The image processing apparatus in any one of -4.
(6) The operation screen has at least one set value input area, and the display for prompting the use of the outer key when the distance from the mobile terminal device detected by the distance detection unit is a predetermined value or less is 6. The image processing device according to any one of the preceding items 1 to 5, which is a display indicating that the set value input area is in a selected state.
(7) The operation screen has at least one set value input area, and prompts the display of a key corresponding to the external key when the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value. 7. The image processing apparatus according to any one of items 1 to 6, wherein the display is a display indicating that the set value input area is not selected.
(8) Keys corresponding to the outer key displayed on the operation screen when the distance from the mobile terminal device exceeds a certain value are a preview key, a guide key, an enlarged display key, a utility key, 8. The image processing device according to any one of the preceding items 1 to 7, wherein the image processing device emulates at least one of job mode switching keys.
(9) When screen data in the case where the distance from the mobile terminal device detected by the distance detection means is equal to or smaller than a certain value is transmitted to the mobile terminal device, and a screen based on the screen data is displayed on the mobile terminal device In addition, when the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value, screen data when the distance from the portable terminal device exceeds a certain value is generated again and sent to the portable terminal device. 9. The image processing device according to any one of items 1 to 8 above.
(10) When screen data when the distance to the mobile terminal device detected by the distance detection means exceeds a certain value is transmitted to the mobile terminal device, and a screen based on the screen data is displayed on the mobile terminal device In addition, when the distance from the mobile terminal device detected by the distance detection unit becomes a certain value or less, the screen data when the distance from the portable terminal device is a certain value or less is generated again and sent to the portable terminal device. 10. The image processing apparatus according to any one of items 1 to 9 described above.
(11) A screen data generation method executed in an image processing apparatus including a connection unit connectable to a portable terminal device and an external key configured by hardware, the portable unit connected by the connection unit A distance detecting step for detecting a distance to the terminal device, and generating screen data of the operation screen of the own device , and when the operation screen can be input using the outer key, are detected in the distance detecting step. If the distance from the mobile terminal device is equal to or less than a certain value, the mobile terminal device generates screen data for causing the mobile terminal device to display the operation screen on which the display for prompting the use of the external key is made as a remote screen. If the distance to the head exceeds a certain value, an operation screen on which a key corresponding to the outer key is displayed or an operation screen on which a display for prompting the key is displayed is displayed. A screen generation step for generating screen data to be displayed on the mobile terminal device as a mote screen; and a transmission step for transmitting the screen data generated in the screen generation step to the mobile terminal device. A method for generating screen data.
(12) A distance for detecting a distance from the portable terminal device connected by the connecting means to the computer of the image processing apparatus having a connecting means connectable to the portable terminal device and an external key configured by hardware When the screen of the detection step and the operation screen of the device itself is generated and the operation screen can be input using the outer key, the distance from the mobile terminal device detected in the distance detection step is constant. If the value is equal to or smaller than the value, screen data for causing the mobile terminal device to display an operation screen that prompts the use of the external key as a remote screen is generated, and the distance from the mobile terminal device exceeds a certain value Is an operation screen on which a key corresponding to the outside key is displayed or an operation screen on which a display for prompting the key is displayed as a remote screen. A screen generation step of generating screen data for displaying the location, the screen data generating program for executing a transmission step, an that transmits the screen data generated by the screen generating step to said portable terminal device.
(13) In the screen generation step, the computer executes a process of generating the arrangement information of the external key as the screen data, and the user inputs the external key displayed on the portable terminal device corresponding to the arrangement information. 13. The screen data generation program according to item 12 above, further causing the computer to execute a reception step of receiving, from the portable terminal device, on / off information of the external key when operated.
(14) In the screen generation step, an operation screen on which a key corresponding to the external key is arranged is executed by the computer that generates the screen data, and an external key on the operation screen displayed on the mobile terminal device is displayed. 13. The screen data generation program according to item 12 above, further causing the computer to execute a reception step of receiving coordinate data of a touch position when a user operates a corresponding key from the mobile terminal device.
(15) The screen data generation program according to any one of Items 12 to 14, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch.
(16) The display for prompting the use of the external key when the distance from the mobile terminal device detected by the distance detection step is equal to or less than a predetermined value is a message indicating that the external key can be used. A program for generating screen data according to any one of -15.
(17) The operation screen has at least one set value input area, and the display for prompting the use of the external key when the distance from the mobile terminal device detected by the distance detection step is a predetermined value or less is 17. The program for generating screen data according to any one of items 12 to 16, which is a display indicating that the setting value input area is in a selected state.
(18) The operation screen has at least one set value input area, and prompts display of a key corresponding to the outer key when the distance from the mobile terminal device detected by the distance detection step exceeds a certain value. 18. The screen data generation program according to any one of items 12 to 17, wherein the display is a display indicating that the setting value input area is not selected.
(19) Keys corresponding to the outer key displayed on the operation screen when the distance from the mobile terminal device exceeds a certain value are a preview key, a guide key, an enlarged display key, a utility key, 19. The screen data generation program according to any one of items 12 to 18 above, which is an emulation of at least one of the job mode switching keys.
(20) When screen data when the distance to the mobile terminal device detected by the distance detection step is equal to or less than a certain value is transmitted to the mobile terminal device, and a screen based on the screen data is displayed on the mobile terminal device In addition, when the distance from the mobile terminal device detected by the distance detection step exceeds a certain value, screen data when the distance from the mobile terminal device exceeds a certain value is generated again and transferred to the mobile terminal device. 20. The program for generating screen data according to any one of items 12 to 19 above, further causing the computer to execute a transmission process.
(21) When screen data when the distance from the mobile terminal device detected by the distance detection step exceeds a certain value is transmitted to the mobile terminal device, and a screen based on the screen data is displayed on the mobile terminal device In addition, when the distance from the mobile terminal device detected by the distance detection step is equal to or smaller than a certain value, screen data when the distance from the portable terminal device is equal to or smaller than the certain value is generated again, 21. The screen data generation program according to any one of 12 to 20 above, which causes the computer to execute a transmission process.
(22) Connection means connectable to the mobile terminal device, an external key configured by hardware, distance detection means for detecting a distance from the mobile terminal device connected by the connection means, and an operation screen of the own device If the distance to the portable terminal device detected by the distance detection means is equal to or less than a certain value when the input can be performed using the outer key, an operation screen with a display prompting the use of the outer key is displayed. An image processing apparatus comprising: transmission means for transmitting screen data to be displayed on the portable terminal device as a remote screen to the portable terminal device.
(23) The screen data includes the arrangement information of the outer key, and on / off information of the outer key when the user operates the outer key displayed corresponding to the arrangement information on the mobile terminal device. 23. The image processing device according to 22 above, further comprising receiving means for receiving from the portable terminal device.
(24) A coordinate corresponding to the external key is arranged on the operation screen, and coordinate data of a touch position when the user operates a key corresponding to the external key on the operation screen displayed on the mobile terminal device. 23. The image processing device according to item 22 above, further comprising receiving means for receiving the information from the portable terminal device.
(25) The image processing apparatus according to any one of Items 22 to 24, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch.
(26) The image processing device according to any one of items 22 to 25, wherein the display for prompting the use of the foreign key is a message indicating that the foreign key can be used.
(27) The operation screen has at least one set value input area, and the display prompting the use of the external key is a display indicating that the set value input area is selected. An image processing apparatus according to any one of the above.
(28) The operation screen has at least one set value input area, and a display prompting the display of a key corresponding to the outside key is a display indicating that the set value input area is not selected. 28. The image processing device according to any one of 22 to 27 above.
(29) When the distance from the mobile terminal device exceeds a certain value, the transmission means displays an operation screen on which a key corresponding to the external key is displayed or an operation screen on which a display for prompting the key is displayed. 29. The image processing device according to any one of items 22 to 28, wherein screen data to be displayed on the mobile terminal device as a remote screen is transmitted to the mobile terminal device.
(30) Keys corresponding to the external keys displayed on the operation screen when the distance from the mobile terminal device exceeds a certain value are preview keys, guide keys, enlarged display keys, utility keys, 30. The image processing device according to item 29, wherein at least one of the job mode switching keys is emulated.
(31) When screen data in the case where the distance from the mobile terminal device detected by the distance detection means is equal to or smaller than a certain value is transmitted to the mobile terminal device, and a screen based on the screen data is displayed on the mobile terminal device 31. The image processing device according to item 29 or 30, wherein the transmission unit transmits the screen data to the mobile terminal device when the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value.
(32) When the screen data when the distance to the mobile terminal device exceeds a certain value is transmitted to the mobile terminal device and the screen based on the screen data is displayed on the mobile terminal device, it is detected by the distance detecting means. When the distance to the portable terminal device is equal to or less than a predetermined value, the transmitting unit transmits again the screen data when the distance to the portable terminal device is equal to or less than the predetermined value to the portable terminal device. An image processing apparatus according to any one of the above.
(33) A distance for detecting a distance from the portable terminal device connected by the connecting means to the computer of the image processing apparatus having a connecting means connectable to the portable terminal device and an external key configured by hardware When the detection step and the operation screen of the own device can be input using the outer key, if the distance from the mobile terminal device detected by the distance detection step is equal to or less than a certain value, the use of the outer key A transmission step of transmitting to the portable terminal device screen data for causing the portable terminal device to display an operation screen on which the display for prompting is displayed as a remote screen.
(34) The screen data includes arrangement information of the outer key, and on / off information of the outer key when the user operates the outer key displayed in correspondence with the arrangement information on the mobile terminal device. 34. The remote screen control program according to item 33, further causing the computer to execute a reception step of receiving from the portable terminal device.
(35) A coordinate corresponding to the external key is arranged on the operation screen, and coordinate data of a touch position when the user operates a key corresponding to the external key on the operation screen displayed on the mobile terminal device. 34. The remote screen control program according to item 33, further causing the computer to execute a reception step of receiving the message from the portable terminal device.
(36) The remote screen control program according to any one of items 33 to 35, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch.
(37) The remote screen control program according to any one of items 33 to 36, wherein the display prompting the use of the foreign key is a message indicating that the foreign key can be used.
(38) The operation screen has at least one set value input area, and the display prompting the use of the external key is a display indicating that the set value input area is selected. The remote screen control program according to any one of the above.
(39) The operation screen has at least one set value input area, and the display for prompting the display of the key corresponding to the outside key is a display indicating that the set value input area is not selected. The remote screen control program according to any one of items 33 to 38.
(40) In the transmission step, when the distance from the mobile terminal device exceeds a certain value, an operation screen on which a key corresponding to the external key is displayed or an operation screen on which a display for prompting the key is displayed 40. The remote screen control program according to any one of items 33 to 39, which causes the computer to execute processing for transmitting screen data to be displayed on the mobile terminal device as a remote screen to the mobile terminal device.
(41) Keys corresponding to the external key displayed on the operation screen when the distance from the portable terminal device exceeds a certain value are a preview key, a guide key, an enlarged display key, a utility key, 41. The remote screen control program according to item 40, which emulates at least one of the job mode switching keys.
(42) When screen data when the distance to the mobile terminal device detected by the distance detection step is equal to or less than a certain value is transmitted to the mobile terminal device, and a screen based on the screen data is displayed on the mobile terminal device In addition, when the distance to the mobile terminal device detected by the distance detection step exceeds a certain value, the transmission step causes the computer to execute a process of transmitting the screen data to the mobile terminal device. The remote screen control program described.
(43) Screen data when the distance to the mobile terminal device exceeds a certain value is transmitted to the mobile terminal device, and is detected by the distance detection step when a screen based on the screen data is displayed on the mobile terminal device. When the distance to the portable terminal device is equal to or less than a predetermined value, the transmission step further includes a process of transmitting screen data to the portable terminal device again when the distance to the portable terminal device is equal to or less than the certain value. 43. The remote screen control program according to any one of the preceding items 40 to 42, which is executed.


前項（１）に記載の発明によれば、操作画面が前記外キーを使用して操作可能な場合において、携帯端末装置との距離が一定値以下であれば、ハードウェアで構成された外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末に表示させるための画面データを生成し、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末に表示させるための画面データを生成し、携帯端末装置に送信するから、携帯端末装置には、画像処理装置と距離が近い場合は、外キーの使用を促す表示がなされたリモート画面が表示される。   According to the invention described in (1) above, when the operation screen can be operated using the outer key, the outer key configured by hardware if the distance from the portable terminal device is equal to or smaller than a certain value. Screen data for displaying on the mobile terminal an operation screen that prompts the user to use it as a remote screen, and if the distance from the mobile terminal device exceeds a certain value, a key corresponding to the outer key is The mobile terminal device generates screen data for causing the mobile terminal to display the displayed operation screen or the operation screen that prompts the display of the key as a remote screen, and transmits the screen data to the mobile terminal device. When the distance from the image processing apparatus is close, a remote screen with a display prompting the use of the external key is displayed.

従って、この表示によりユーザーに外キーの使用を促すことができる。一方、携帯端末装置と画像処理装置と距離が遠い場合、携帯端末装置には、外キーに対応するキーが表示されたリモート画面、または該キーの表示を促す表示がなされたリモート画面が表示されるから、ユーザーはリモート画面に表示されたキーを用いて、操作画面に対する入力を行うことができる。   Therefore, this display can prompt the user to use the external key. On the other hand, when the distance between the mobile terminal device and the image processing device is long, the mobile terminal device displays a remote screen on which a key corresponding to the external key is displayed or a remote screen on which a display for prompting the key is displayed. Therefore, the user can input to the operation screen using the keys displayed on the remote screen.

前項（２）に記載の発明によれば、外キーに対応するキーの配置情報が画面データとして生成され、生成された画面データが携帯端末装置に送信されるから、携帯端末装置は前記配置情報に基づいて外キーに対応するキーを表示することができると共に、外キーに対応するキーをユーザが操作したときはそのキーのオン、オフ情報が、携帯端末装置から画像処理装置に送信される。   According to the invention described in item (2) above, the key arrangement information corresponding to the foreign key is generated as screen data, and the generated screen data is transmitted to the mobile terminal device. The key corresponding to the external key can be displayed based on the key, and when the user operates the key corresponding to the external key, on / off information of the key is transmitted from the portable terminal device to the image processing device. .

前項（３）に記載の発明によれば、外キーに対応するキーが配置された操作画面が画面データとして生成され、生成された画面データが携帯端末装置に送信されるから、携帯端末装置は前記外キーに対応するキーが配置された操作画面を表示することができると共に、外キーに対応するキーをユーザが操作したときはタッチ位置の座標データが、携帯端末装置から画像処理装置に送信される。   According to the invention described in item (3) above, an operation screen on which a key corresponding to an external key is arranged is generated as screen data, and the generated screen data is transmitted to the mobile terminal device. An operation screen on which a key corresponding to the external key is arranged can be displayed, and when the user operates a key corresponding to the external key, coordinate data of the touch position is transmitted from the portable terminal device to the image processing device. Is done.

前項（４）に記載の発明によれば、画像処理装置と携帯端末装置との距離が近い場合は、ユーザは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかを用いて、操作画面に対する入力を行うことができる。   According to the invention described in (4) above, when the distance between the image processing device and the mobile terminal device is short, the user uses at least one of a hard numeric keypad, a hard keyboard, and a switch to operate the operation screen. Input can be made.

前項（５）に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値以下の場合は、外キーの使用を促す表示として外キーを使用できることのメッセージが表示される。   According to the invention described in (5) above, when the distance between the image processing device and the portable terminal device is equal to or less than a certain value, a message indicating that the external key can be used is displayed as a display prompting the use of the external key.

前項（６）に記載の発明によれば、操作画面は少なくとも一つの設定値入力エリアを有し、画像処理装置と携帯端末装置との距離が一定値以下の場合は、前記外キーの使用を促す表示として、前記設定値入力エリアが選択された状態にあることを示す表示がなされる。   According to the invention described in item (6) above, the operation screen has at least one set value input area, and when the distance between the image processing device and the mobile terminal device is equal to or less than a certain value, the use of the outer key is prohibited. As a prompting display, a display indicating that the set value input area is in a selected state is made.

前項（７）に記載の発明によれば、操作画面は少なくとも一つの設定値入力エリアを有し、画像処理装置と携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーの表示を促す表示として、前記設定値入力エリアが選択されていない状態にあることを示す表示がなされる。   According to the invention described in (7) above, the operation screen has at least one set value input area, and corresponds to the outer key when the distance between the image processing device and the mobile terminal device exceeds a certain value. As a display prompting the display of the key, a display indicating that the set value input area is not selected is made.

前項（８）に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値を超える場合に、前記外キーに対応するキーとして、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたキーが操作画面に表示される。   According to the invention described in item (8) above, when the distance between the image processing device and the portable terminal device exceeds a certain value, a preview key, a guide key, an enlarged display key, a utility as a key corresponding to the outer key A key emulating at least one of the key and the job mode switching key is displayed on the operation screen.

前項（９）に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づくリモート画面が表示されているときに、携帯端末装置との距離が一定値を超えた場合には、携帯端末装置に表示されるリモート画面は、距離が一定値を超えた場合の画面に切り替えられる。   According to the invention described in (9), the screen data when the distance between the image processing device and the mobile terminal device is equal to or smaller than a certain value is transmitted to the mobile terminal device, and the mobile terminal device uses the remote screen based on the screen data. When is displayed, if the distance from the mobile terminal device exceeds a certain value, the remote screen displayed on the mobile terminal device is switched to a screen when the distance exceeds a certain value.

前項（１０）に記載の発明によれば、画像処理装置と携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づくリモート画面が表示されているときに、携帯端末装置との距離が一定値以下となった場合には、携帯端末装置に表示されるリモート画面は、距離が一定値以下の場合の画面に切り替えられる。   According to the invention described in (10) above, the screen data when the distance between the image processing device and the mobile terminal device exceeds a certain value is transmitted to the mobile terminal device, and the remote screen based on the screen data is transmitted by the mobile terminal device When the distance to the mobile terminal device is equal to or less than a certain value while is displayed, the remote screen displayed on the mobile terminal device is switched to the screen when the distance is equal to or less than the certain value.

前項（１１）に記載の発明によれば、携帯端末装置では、画像処理装置と距離が近い場合は、外キーの使用を促す表示がなされたリモート画面が表示されるから、この表示によりユーザーに外キーの使用を促すことができる。一方、画像処理装置と距離が遠い場合は、携帯端末装置には、外キーに対応するキーが表示されたリモート画面、または該キーの表示を促す表示がなされたリモート画面が表示されるから、ユーザーはリモート画面に表示されたキーを用いて、操作画面に対する入力を行うことができる。   According to the invention described in the above item (11), in the portable terminal device, when the distance from the image processing device is close, the remote screen with the display prompting the use of the external key is displayed. The use of the foreign key can be prompted. On the other hand, when the distance from the image processing device is far, the mobile terminal device displays a remote screen on which a key corresponding to the external key is displayed or a remote screen on which a display prompting the display of the key is displayed. The user can input to the operation screen using the keys displayed on the remote screen.

前項（１２）に記載の発明によれば、画像処理装置と携帯端末装置との距離が近い場合は、外キーの使用を促す表示がなされたリモート画面を生成し、画像処理装置と携帯端末装置との距離が遠い場合は、外キーに対応するキーが表示されたリモート画面、または該キーの表示を促す表示がなされたリモート画面を生成し、携帯端末装置に送信する処理を、画像処理装置のコンピュータに実行させることができる。   According to the invention described in item (12), when the distance between the image processing device and the portable terminal device is short, a remote screen on which a display prompting the use of the external key is generated is generated, and the image processing device and the portable terminal device are generated. A remote screen on which a key corresponding to the external key is displayed or a remote screen on which display of the key is displayed is generated and transmitted to the mobile terminal device. Can be run on any computer.

この発明の一実施形態に係る画像処理装置が用いられた表示処理システムの構成図である。1 is a configuration diagram of a display processing system in which an image processing apparatus according to an embodiment of the present invention is used. 画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。It is a block diagram which shows the electrical structure of an image processing apparatus and a portable terminal device. 画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。It is a block diagram which shows the firmware structure of an image processing apparatus and a portable terminal device. 画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。It is a figure which shows the relationship between each software of an image processing apparatus and a portable terminal device. 操作パネル部の平面図である。It is a top view of an operation panel part. 画像処理装置と携帯端末装置との距離が閾値を超えている場合に、携帯端末の表示部に表示されるリモート画面を示す図である。It is a figure which shows the remote screen displayed on the display part of a portable terminal, when the distance of an image processing apparatus and a portable terminal device exceeds the threshold value. 画像処理装置と携帯端末装置との距離が閾値以内の場合に、携帯端末の表示部に表示されるリモート画面を示す図である。It is a figure which shows the remote screen displayed on the display part of a portable terminal, when the distance of an image processing apparatus and a portable terminal device is less than a threshold value. 画像処理装置と携帯端末装置との距離が閾値以内の場合に、携帯端末の表示部に表示されるリモート画面の他の例を示す図である。It is a figure which shows the other example of the remote screen displayed on the display part of a portable terminal, when the distance of an image processing apparatus and a portable terminal device is less than a threshold value. 画像処理装置と携帯端末装置との距離が閾値を超える場合に、携帯端末の表示部に表示されるリモート画面の他の例を示す図である。It is a figure which shows the other example of the remote screen displayed on the display part of a portable terminal, when the distance of an image processing apparatus and a portable terminal device exceeds a threshold value. この発明の他の実施形態を示すもので、画像処理装置と携帯端末装置との距離が閾値を超える場合に、携帯端末の表示部に表示されるリモート画面の一例を示す図である。FIG. 10 is a diagram illustrating another embodiment of the present invention, which is an example of a remote screen displayed on a display unit of a mobile terminal when a distance between the image processing apparatus and the mobile terminal exceeds a threshold value. 同じく、画像処理装置と携帯端末装置との距離が閾値を超える距離から閾値以内となったときに、携帯端末の表示部に切り替え表示されるリモート画面の一例を示す図である。Similarly, when the distance between the image processing device and the mobile terminal device falls within the threshold from the distance exceeding the threshold, it is a diagram illustrating an example of a remote screen that is switched and displayed on the display unit of the mobile terminal. 画像処理装置と携帯端末装置との間で実行される情報通信のシーケンス図である。It is a sequence diagram of the information communication performed between an image processing apparatus and a portable terminal device. 画像処理装置と携帯端末装置との間で実行される情報通信の他の例を示すシーケンス図である。It is a sequence diagram which shows the other example of the information communication performed between an image processing apparatus and a portable terminal device. 画像処理装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of an image processing apparatus. 携帯端末装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a portable terminal device.

以下、この発明の実施形態を図面に基づいて説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図１は、この発明の一実施形態に係る画像処理装置が用いられた表示処理システムの構成図である。   FIG. 1 is a configuration diagram of a display processing system using an image processing apparatus according to an embodiment of the present invention.

この表示処理システムは、画像処理装置としての画像形成装置１と、スマートフォンやタブレット端末等からなる携帯端末装置２等を備え、これらの画像形成装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像形成装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとなされている。   The display processing system includes an image forming apparatus 1 as an image processing apparatus, a mobile terminal device 2 including a smartphone or a tablet terminal, and the like. The image forming apparatus 1 and the mobile terminal device 2 include a wireless LAN router 3, They can be connected to each other via the network 4. Note that the image forming apparatus 1 and the portable terminal device 2 can be connected to each other by a USB interface or the like, but in this embodiment, they are connected to each other by wireless communication.

この実施形態では、画像形成装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像形成装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。   In this embodiment, the above-described MFP having a copy function, a print function, a scan function, a facsimile function and the like is used as the image forming apparatus 1. Hereinafter, the image forming apparatus is also referred to as an MFP. The mobile terminal device is also referred to as a mobile terminal.

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。   FIG. 2 is a block diagram showing an electrical configuration of the MFP 1 and the portable terminal 2.

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。   The MFP 1 includes a CPU 101, ROM 102, RAM 103, scanner unit 104, print unit 105, storage unit 106, operation panel unit 107, WIFI (Wireless Fidelity) module 109, LAN (Local Area Network) controller 110, USB interface (USB I / F). 111 etc. are provided.

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２から取得した携帯端末２の位置情報と自機の位置情報との比較等の方法により、自機と携帯端末２との距離を検出したり、検出した距離が予め設定された閾値以下かどうかを判断したり、携帯端末２からの要求に基づいて、携帯端末２にリモート画面として表示するＭＦＰ１の操作画面の画面データを作成して携帯端末２に送信したり、携帯端末２から送信された操作情報に対応する次画面データを生成して携帯端末２に送信する。   The CPU 101 performs overall control of the entire MFP 1 by operating according to an operation program stored in the ROM 102 or the like. For example, in addition to controlling various functions of the MFP 1, in this embodiment, the own device and the portable terminal are compared by a method such as comparing the position information of the portable terminal 2 acquired from the portable terminal 2 with the position information of the own device. 2 is detected, whether the detected distance is equal to or less than a preset threshold value, or based on a request from the mobile terminal 2, an operation screen of the MFP 1 displayed as a remote screen on the mobile terminal 2 Screen data is created and transmitted to the mobile terminal 2, or next screen data corresponding to the operation information transmitted from the mobile terminal 2 is generated and transmitted to the mobile terminal 2.

この際、前記操作画面がハードウェアにより構成された後述する外キーを使用して入力可能な場合において、携帯端末２との距離が閾値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末２に表示させるための画面データを生成し、携帯端末２との距離が閾値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末２に表示させるための画面データを生成する。   At this time, when the operation screen can be input using an external key (described later) configured by hardware, if the distance from the mobile terminal 2 is equal to or less than a threshold value, a display prompting the use of the external key is made. Screen data to be displayed on the mobile terminal 2 as a remote screen, and when the distance from the mobile terminal 2 exceeds a threshold, the operation screen on which a key corresponding to the outside key is displayed, or Screen data for causing the portable terminal 2 to display the operation screen on which the display of prompting the key is displayed as a remote screen is generated.

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。   The ROM 102 is a memory that stores an operation program of the CPU 101, and the RAM 103 is a memory that provides a work area when the CPU 101 operates according to the operation program.

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。   The scanner unit 104 reads an image of a document set on a platen glass (not shown) or a document set on an automatic document feeder (not shown) and outputs image data as electronic data.

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。   The print unit 105 prints image data of a document read by the scanner unit 104 or print data transmitted from the portable terminal 2 or the like on a sheet.

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データ（画面データ）や外キーの配置情報等が記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルや、自装置の設置場所の位置情報が保存されている。   The storage unit 106 stores various data, applications, and the like, and uses a hard disk device or the like. In particular, in this embodiment, display data (screen data) for various operation screens displayed on the operation panel unit 107, arrangement information of external keys, and the like are stored, and display of operation screens according to user operations is stored. Data is called from the storage unit 106 by the CPU 101 and displayed on the operation panel unit 107 or transmitted to the mobile terminal 2. Further, a plurality of files such as a document file composed of image data read by the scanner unit 104, a document file transmitted from an external device, and position information of the installation location of the own device are stored.

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、図５に示すように、外キーとしてのスタートキー１２１、ハードテンキー１２２、スイッチ等を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。なお、外キーとしては、スタートキー、ハードテンキー、スイッチに限定されることはなく、ハードキーボード、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キー等であっても良い。   The operation panel unit 107 operates the MFP 1 and displays a message or the like to the user. As shown in FIG. 5, a key unit 107a having a start key 121 as an external key, a hard numeric key 122, a switch, etc. A display unit 107b including a touch panel such as a liquid crystal is provided. The external key is not limited to a start key, a hard numeric keypad, and a switch, and may be a hard keyboard, a preview key, a guide key, an enlarged display key, a utility key, a job mode switching key, or the like.

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。   The WIFI module 109 is an interface for wireless connection with the portable terminal 2, and the LAN controller 110 controls communication with an external device such as a personal computer or another MFP.

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。   The USB interface 111 is an interface for wired connection with the portable terminal 2.

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４ａ、操作部２０４ｂ、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９、位置情報取得部２１０等を備えている。   On the other hand, a smart phone, a tablet terminal, electronic paper, etc. are used for the portable terminal 2. FIG. The portable terminal 2 includes a CPU 201, a RAM 202, a storage unit 203, a display unit 204a, an operation unit 204b, a WIFI module 205, a LAN controller 206, a USB interface 207, file processing units 208a and 208b, a cooperation unit 209, a position information acquisition unit 210, and the like. It has.

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。   The CPU 201 controls the entire mobile terminal 2 in an integrated manner, and operates according to an OS (Operating System) that is basic software, a cooperative application, or a general-purpose application described later.

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。   The RAM 202 is a memory serving as a work area when the CPU 201 operates according to an operation program.

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信された画面データや、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。   The storage unit 203 stores various data, applications, and the like, and a hard disk device or the like is used. In this embodiment, screen data transmitted from the MFP 1 and programs such as a basic OS, a cooperative application, and a general-purpose application are stored. In the following description, an application is also simply referred to as an application.

前記表示部２０４ａは液晶等のデバイスからなり、操作部２０４ｂは表示部２０４ａに設けられタッチ操作入力が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面に表示された画像に対して、変倍（拡大または縮小）や回転等の編集加工を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。   The display unit 204a is a device such as a liquid crystal, and the operation unit 204b is a touch panel provided on the display unit 204a and capable of touch operation input. The touch operation is usually performed by a gesture operation that defines the operation content according to the number of touched fingers and the movement of the fingers. As an example of the gesture operation, a pinch-in operation or a pinch-out operation for instructing an editing process such as scaling (enlargement or reduction) or rotation with respect to an image displayed on the screen can be exemplified.

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。   The WIFI module 205 is an interface for wirelessly connecting the mobile terminal 2 to the MFP 1, and the LAN controller 206 controls communication with an external device such as a user terminal. The USB interface 207 is an interface for connecting the portable terminal device 2 to the MFP 1 by wire.

前記ファイル処理部２０８ａ、２０８ｂは、ファイルに編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。   The file processing units 208a and 208b perform processing such as editing, forwarding, or mail delivery on files. Hereinafter, both the file processing units 208a and 208b are referred to as a file processing unit 208.

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される画面と同じ画面を再生するための画面データ等を、ＭＦＰ１から受信してリモート画面として表示部２０４ａに表示したり、表示されたリモート画面をユーザが操作したときに、操作部２０４ｂにより画面（タッチパネル）上の操作位置の座標を検出し操作情報としてＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザの操作指示を特定し、操作指示に応じた動作を実行する。   The cooperation unit 209 is for enabling the functions of the MFP 1 to be used in order to smoothly perform the function cooperation between the MFP 1 and the portable terminal 2. Specifically, screen data for reproducing the same screen as the screen displayed on the operation panel unit 107 of the MFP 1 in order to use the copy function, print function, scan function, facsimile function, etc. of the MFP 1 is sent from the MFP 1. Received and displayed on the display unit 204a as a remote screen, or when the user operates the displayed remote screen, the operation unit 204b detects the coordinates of the operation position on the screen (touch panel) and transmits it to the MFP 1 as operation information. To do. The MFP 1 analyzes the coordinates of the operation position, identifies the user's operation instruction, and executes an operation according to the operation instruction.

前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。   The function of the file processing unit 208 is realized by the CPU 201 executing a general-purpose application. In other words, the general-purpose application is software for realizing the file processing unit 208 that processes various files. For example, a file editing application, an application having a function of distributing a file by e-mail, and a function of storing a file on the web Various kinds of applications such as an application that the user has can be used.

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。   The cooperation unit 209 realizes these functions when the CPU 201 executes the cooperation application described above. That is, the cooperation application is software for achieving smooth function cooperation between the MFP 1 and the mobile terminal 2. In addition, file transfer and download can be performed between the cooperative app and the general-purpose app.

位置情報取得部２１０は、ＧＰＳ機能により携帯端末２の現在の位置情報を取得する。取得した位置情報は、連携部２０９を介して携帯端末２からＭＦＰ１へ送信される。この実施形態では、位置情報を定期的に、あるいはＭＦＰ１から要求されたときに、その他任意のタイミングで取得し、ＭＦＰ１へ送信するのとなされている。   The position information acquisition unit 210 acquires the current position information of the mobile terminal 2 by the GPS function. The acquired position information is transmitted from the portable terminal 2 to the MFP 1 via the cooperation unit 209. In this embodiment, the position information is acquired periodically or when requested by the MFP 1 at any other timing and transmitted to the MFP 1.

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。   FIG. 3 is a block diagram illustrating firmware configurations of the MFP 1 and the portable terminal 2.

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。   The MFP 1 includes an operation panel (application) 121 and an open API (Open Application Program Interface) 122 in the application layer, and includes a common API (Common API) 125 and a panel display image generation unit 126 in the common API layer. The hardware-dependent layer includes a panel screen generation unit 123, a panel control unit 124, a portable terminal control unit 127, and the like.

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。   In addition, the kernel layer includes a panel input control unit 129, a panel LCD control unit 130, a JPEG coder driver 131, and the like, and a device layer includes an operation panel unit 107, a USB interface unit 111, a JPEG compression unit 133, a WIFI module 109, and the like. I have.

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを生成する。   The panel screen generation unit 123 generates screen data on the MFP 1 side displayed on the operation panel unit 107 when a cooperative operation is performed from the mobile terminal 2.

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行う。また、パネル表示画像生成部１２６は、携帯端末２からの操作情報に基づいて、携帯端末２に表示される次画面データを生成する。   The panel control unit 124 controls the communication state with the operation panel unit 107. Further, the panel display image generation unit 126 generates next screen data to be displayed on the mobile terminal 2 based on operation information from the mobile terminal 2.

携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。   The portable terminal control unit 127 controls an interface or the like for communicating with the portable terminal 2 during the cooperation process with the portable terminal 2.

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた画面データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。   The panel input control unit 129 performs control related to operation input of the operation panel unit 107, and the panel LCD control unit 130 performs display control of the display unit 107 b of the operation panel unit 107. The JPEG compression unit 133 performs JPEG compression on the screen data transmitted from the mobile terminal control unit 127 via the JPEG coder driver 131, and the compressed data is transmitted via the USB interface 111 or the WIFI module 109. Is transmitted to the portable terminal 2.

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。   On the other hand, the mobile terminal 2 includes an image display application 221, a display image generation application 222, a JPEG development application 223, an application layer including various applications such as a browser, a platform layer including various managers 225 and 226, and the like. The OS layer includes a library 227 and a kernel 228, and hardware 229.

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。   The JPEG decompression application 223 decompresses the compressed data transmitted from the MFP 1.

表示画像生成アプリ２２２は、携帯端末２の表示部２０４ａに表示されたリモート画面に対して、ユーザが画像の拡大・縮小操作等を行ったときに、現在表示され記憶部２０３に記憶されている画面データを用いて、自装置で編集加工を行い、表示部２０４に表示させるものである。   The display image generation application 222 is currently displayed and stored in the storage unit 203 when the user performs an image enlargement / reduction operation or the like on the remote screen displayed on the display unit 204 a of the mobile terminal 2. Using the screen data, the editing processing is performed by the own device and displayed on the display unit 204.

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張された画面データを用いて、ＭＦＰ１の画面をリモート画面として生成し表示部２０４に表示させるものである。   The image display application 221 generates the screen of the MFP 1 as a remote screen using the screen data transmitted from the MFP 1 and expanded by the JPEG development application 223 and displays the screen on the display unit 204.

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。   In this embodiment, the image display application 221, the display image generation application 222, and the JPEG expansion application 223 are configured as a part of functions realized by the cooperation application.

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。   Next, processing when the MFP 1 and the portable terminal 2 are operated in cooperation will be described.

ユーザが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２からＭＦＰ１をリモート操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。   A user wirelessly connects the portable terminal 2 to the MFP 1 via a network and tries to remotely operate the MFP 1 from the portable terminal 2. The cooperation operation between the portable terminal 2 and the MFP 1 is started when the user starts a cooperation application installed in the portable terminal 2.

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。   FIG. 4 shows the relationship between the software of the MFP 1 and the portable terminal 2. The left side shows the software on the MFP 1 side and the right side shows the software on the portable terminal 2.

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ユーザの操作情報、携帯端末２との送受信データ、携帯端末２側の画面データ、位置情報取得部２１０で得られた位置情報を取得することができ、必要に応じてこれらのデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザ操作受付処理、ＭＦＰ１の操作画面表示用の画面データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、ユーザが操作部２０４ｂを介して行った操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。   The cooperative application of the mobile terminal 2 is located between the OS of the mobile terminal 2 and application software that is general-purpose software, and includes user operation information, transmission / reception data with the mobile terminal 2, screen data on the mobile terminal 2 side, The position information obtained by the position information acquisition unit 210 can be acquired, and these data can be transmitted to the MFP 1 as necessary. In other words, the cooperation software of the mobile terminal 2 includes user operation reception processing on the mobile terminal 2 side, such as calling an application, reception / display processing of screen data for displaying the operation screen of the MFP 1 (mobile terminal side operation screen processing), cooperation Perform operation-related processing. The linked operation related processing includes communication with the MFP 1 of operation information indicating the content of the operation performed by the user via the operation unit 204b.

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザ操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。   On the other hand, when the OS on the MFP 1 and the application software for the MFP 1 are all in-house designed / customized and all necessary information can be obtained, the cooperative application of the MFP 1 may not be located between the OS and the application software. Necessary information may be obtained by communicating with the OS and application software while being independent of the OS and application software. The cooperative application of the MFP 1 executes user operation reception processing on the MFP 1 side such as calling of an application, transmission processing of MFP side screen data to the portable terminal 2 (MFP side operation screen processing), cooperative operation related processing, and the like. As the cooperative operation-related processing, reception / execution processing of operation information from the portable terminal 2 and the like can be cited.

ユーザが携帯端末２の表示部２０４に表示された操作画面中のリモート操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、画面データの取得を要求する。それにより、リモート操作モードが開始され、ＭＦＰ１から初期画面の画面データが転送効率の向上のためＪＰＥＧ等で圧縮された状態で携帯端末２に送信される。   When the user selects a remote operation icon on the operation screen displayed on the display unit 204 of the mobile terminal 2 and instructs MFP cooperation, the cooperation software of the mobile terminal 2 communicates with the registered MFP 1, and MFP 1 Call the link software and request the acquisition of screen data. As a result, the remote operation mode is started, and the screen data of the initial screen is transmitted from the MFP 1 to the portable terminal 2 in a state compressed with JPEG or the like in order to improve transfer efficiency.

携帯端末２は、受信したＭＦＰ側の画面データを表示部２０４ａにリモート画面として表示する。携帯端末２の表示部２０４ａの画面サイズがＭＦＰ１の表示部１０７ｂの画面サイズと異なる場合は、携帯端末２は自己の表示部２０４ａの画面サイズに合わせて画面データを調整し表示する。   The portable terminal 2 displays the received screen data on the MFP side as a remote screen on the display unit 204a. When the screen size of the display unit 204a of the mobile terminal 2 is different from the screen size of the display unit 107b of the MFP 1, the mobile terminal 2 adjusts and displays the screen data in accordance with the screen size of the display unit 204a of itself.

なお、携帯端末２での画面表示と同時に、同一の画面をＭＦＰ１の表示部１０５ａに表示しても良いし、表示しなくても良い。   The same screen may or may not be displayed on the display unit 105a of the MFP 1 simultaneously with the screen display on the portable terminal 2.

ユーザが携帯端末２に表示されているＭＦＰ１側の画面であるリモート画面をタッチ操作すると、タッチ操作が画面データの拡大・縮小を指示するジェスチャー操作であるか、通常のボタン操作であるかが判断される。そして、判断の結果がタッチ情報として、タッチ位置の座標データと共にＭＦＰ１に送信される。   When the user performs a touch operation on the remote screen, which is the screen on the MFP 1 side, displayed on the mobile terminal 2, it is determined whether the touch operation is a gesture operation for instructing enlargement / reduction of screen data or a normal button operation. Is done. Then, the determination result is transmitted as touch information to the MFP 1 together with the coordinate data of the touch position.

一方、通常のボタン操作であると判断されると、携帯端末２は操作部２０４ｂ上のタッチ位置の座標データをＭＦＰ１に送信する。   On the other hand, if it is determined that the operation is a normal button operation, the portable terminal 2 transmits coordinate data of the touch position on the operation unit 204b to the MFP 1.

ＭＦＰ１は受信した座標データやタッチ情報を含む操作情報を解析して、画面上のどのボタンが押されたかを判定し、そのボタン押下に対応する次画面データを生成して携帯端末２に送信し、あるいはボタン押下に対応するジョブ処理等を実行する。携帯端末２は受信した次画面データを表示部２０４ｂに表示して画面を更新する。   The MFP 1 analyzes the received operation information including coordinate data and touch information, determines which button on the screen is pressed, generates next screen data corresponding to the button press, and transmits it to the portable terminal 2. Or, job processing corresponding to the button press is executed. The portable terminal 2 displays the received next screen data on the display unit 204b and updates the screen.

こうして、携帯端末２によってＭＦＰ１をリモート操作することができる。   In this way, the MFP 1 can be remotely operated by the portable terminal 2.

この実施形態では、ＭＦＰ１からの取得要求時、あるいはタッチ位置の座標データの送信時、あるいは定期的に、あるいは任意のタイミングで、携帯端末２は携帯端末２の現在の位置を示す位置情報をＭＦＰ１に送信し、ＭＦＰ１は受信した位置情報に基づく携帯端末２の現在位置と、予め登録されている自機の設置位置とから、自機と携帯端末２との距離を検出するものとなされている。なお、携帯端末２との距離の検出はこの方法に限定されることはない。そして、検出した距離に応じて、生成する画面データの内容を変更するものとなされている。   In this embodiment, the mobile terminal 2 receives position information indicating the current position of the mobile terminal 2 at the time of acquisition request from the MFP 1, transmission of coordinate data of the touch position, or periodically or at an arbitrary timing. The MFP 1 detects the distance between the own device and the portable terminal 2 from the current position of the portable device 2 based on the received position information and the installation position of the own device registered in advance. . In addition, the detection of the distance with the portable terminal 2 is not limited to this method. The content of the screen data to be generated is changed according to the detected distance.

即ち、携帯端末２に表示させるリモート画面が、キー部１０７ａの外キーを使用して入力可能な操作画面である場合は、自機と携帯端末２との距離を予め設定された閾値と比較し、距離が閾値を超えている場合、換言すれば携帯端末２がＭＦＰ２から遠くに存在している場合は、外キーに対応するキーが表示された操作画面をリモート画面として前記携帯端末２に表示させるための画面データを生成し、携帯端末２に送信する。   That is, when the remote screen displayed on the mobile terminal 2 is an operation screen that can be input using the external key of the key unit 107a, the distance between the own device and the mobile terminal 2 is compared with a preset threshold value. When the distance exceeds the threshold value, in other words, when the mobile terminal 2 is located far from the MFP 2, the operation screen on which the key corresponding to the external key is displayed is displayed on the mobile terminal 2 as a remote screen. Screen data to be generated is transmitted to the mobile terminal 2.

この画面データを受信した携帯端末２は、画面データに基づくリモート画面を表示部２０４ａに表示する。   The mobile terminal 2 that has received the screen data displays a remote screen based on the screen data on the display unit 204a.

図６は、携帯端末２との距離が閾値を超えている場合に、携帯端末２の表示部２０４ａに表示されているリモート画面を示す図である。このリモート画面では、通常の操作画面Ｄ１に加えて、外キーに対応するソフトウェアキー３００を有するキー表示部Ｄ２が表示されている。外キーに対応するキー３００は、この実施形態では、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレータしたものである。   FIG. 6 is a diagram illustrating a remote screen displayed on the display unit 204a of the mobile terminal 2 when the distance from the mobile terminal 2 exceeds the threshold. On this remote screen, in addition to the normal operation screen D1, a key display portion D2 having a software key 300 corresponding to the external key is displayed. In this embodiment, the key 300 corresponding to the external key is an emulator that emulates at least one of a preview key, a guide key, an enlarged display key, a utility key, and a job mode switching key that exist as external keys. .

ユーザーは、このキー表示領域Ｄ２に表示されたソフトウェアキー３００を用いて、操作画面に対する入力操作を行うことができる。   The user can perform an input operation on the operation screen using the software key 300 displayed in the key display area D2.

なお、キー表示領域Ｄ２は、リモート画面を構成する画像の一部として操作画面Ｄ１の画像データと合成されて、画面データが生成されても良い。この場合、携帯端末２に表示されたキー表示領域Ｄ２のいずれかのキー３００をユーザーがタッチした場合は、タッチ位置の座標データやタッチ状態（例えばタッチされたときのジェスチャー操作の種類）を示すタッチ情報が携帯端末２からＭＦＰ１へ送信され、ＭＦＰ１は座標データを解析して操作されたキーやタッチ状態を特定し、次画面データを生成しあるいは対応する処理を行う。   The key display area D2 may be combined with the image data of the operation screen D1 as a part of an image constituting the remote screen to generate screen data. In this case, when the user touches any key 300 in the key display area D2 displayed on the mobile terminal 2, the coordinate data of the touch position and the touch state (for example, the type of gesture operation when touched) are shown. Touch information is transmitted from the portable terminal 2 to the MFP 1, and the MFP 1 analyzes the coordinate data to identify the operated key and touch state, and generates next screen data or performs corresponding processing.

また、ＭＦＰ１はキー表示部Ｄ２に含まれるキー３００の配置情報を、操作画面Ｄ１の画面データと共に携帯端末２に画面データとして送信し、携帯端末２はこの配置情報に基づいて、各キー３００を表示部２０４ａに表示しても良い。この場合、携帯端末２に表示されたキー表示部Ｄ２のいずれかのキー３００をユーザーがタッチした場合は、携帯端末２はキー３００のオンオフ情報（キー３００がボタンの場合はオン情報のみ、トグルスイッチの場合はオンオフ情報）をＭＦＰ１に送信する。ＭＦＰ１はオンオフ情報を解析して操作されたキーを特定し、次画面データを生成しあるいは対応する処理を行う。   Further, the MFP 1 transmits the arrangement information of the key 300 included in the key display unit D2 to the portable terminal 2 as screen data together with the screen data of the operation screen D1, and the portable terminal 2 transmits each key 300 based on the arrangement information. You may display on the display part 204a. In this case, when the user touches any key 300 of the key display portion D2 displayed on the mobile terminal 2, the mobile terminal 2 uses the key 300 on / off information (if the key 300 is a button, only the on information is toggled). On / off information in the case of a switch) is transmitted to the MFP 1. The MFP 1 analyzes the on / off information to identify the operated key, and generates next screen data or performs a corresponding process.

このように、携帯端末２との距離が遠い場合は、携帯端末２には、外キーに対応するキー３００が表示されたリモート画面が表示されるから、ユーザーはリモート画面に表示されたキーを用いて、操作画面に対する入力を行うことができる。   As described above, when the distance from the mobile terminal 2 is long, the mobile terminal 2 displays a remote screen on which the key 300 corresponding to the external key is displayed. Therefore, the user presses the key displayed on the remote screen. The input to the operation screen can be performed.

一方、携帯端末２との距離が閾値以内の場合には、携帯端末２の表示部２０４ａには図７に示すようなリモート画面が表示される。このリモート画面では、通常の操作画面Ｄ１に加えて、ＭＦＰ１の外キーを使用できることを示すメッセージＤ３が表示されている。   On the other hand, when the distance from the mobile terminal 2 is within the threshold, a remote screen as shown in FIG. 7 is displayed on the display unit 204a of the mobile terminal 2. On this remote screen, in addition to the normal operation screen D1, a message D3 indicating that the external key of the MFP 1 can be used is displayed.

従って、このメッセージ表示によりユーザーに外キーの使用を促すことができ、ユーザーにとってはソフトウェアキーを携帯端末２に表示させることなく、ＭＦＰ１の外キーを使用することができ、操作性の良いものとなる。   Accordingly, the message display can prompt the user to use the external key, and the user can use the external key of the MFP 1 without displaying the software key on the portable terminal 2, so that the operability is good. Become.

図８は、携帯端末２との距離が閾値以内の場合に、携帯端末２に表示されるリモート画面の他の例を示す図である。   FIG. 8 is a diagram illustrating another example of a remote screen displayed on the mobile terminal 2 when the distance from the mobile terminal 2 is within a threshold.

この例では、操作画面Ｄ１は上下に２つの設定値入力エリアＤ１１、Ｄ１２を有している。そして、上側の設定値入力エリアＤ１１が選択された状態となっていることを示す表示がなされている。図８では選択状態であることをハッチングを付して示している。設定値入力エリアＤ１１、Ｄ１２の何れを選択状態とするかは、予め設定されている。   In this example, the operation screen D1 has two set value input areas D11 and D12 at the top and bottom. A display indicating that the upper set value input area D11 is selected is displayed. In FIG. 8, the selected state is indicated by hatching. Which of the set value input areas D11 and D12 is to be selected is set in advance.

さらに、リモート画面内にはＭＦＰ１の外キーを使用できることを示すメッセージＤ４が表示されている。なお、メッセージＤ４は必ずしも表示されなくても良い。   Further, a message D4 indicating that the outside key of the MFP 1 can be used is displayed in the remote screen. Note that the message D4 is not necessarily displayed.

ユーザーがＭＦＰ１のキー部１０７ａの外キーを操作することで、選択状態の設定値入力エリアＤ１１に設定値を入力することができる。   The user can input a setting value in the setting value input area D11 in the selected state by operating the outside key of the key unit 107a of the MFP1.

このように、携帯端末２との距離が閾値以内の場合には、設定値入力エリアＤ１１、Ｄ１２のうちいずれかの設定値入力エリアが選択状態となっているから、この選択状態の表示をもってユーザーに外キーの使用を促すことができ、ユーザーにとってはソフトウェアキーを携帯端末２に表示させることなく、ＭＦＰ１の外キーを使用することができ、操作性の良いものとなる。   As described above, when the distance from the mobile terminal 2 is within the threshold value, one of the set value input areas D11 and D12 is in the selected state. The user can be prompted to use the external key, and the user can use the external key of the MFP 1 without displaying the software key on the portable terminal 2, which improves operability.

一方、携帯端末２との距離が閾値を超える場合には、リモート画面は図９に示すように、すべての設定値入力エリアＤ１１、Ｄ１２が選択されていない状態で表示されている。これにより、このような被選択状態の表示をもって、ユーザーに外キーに対応するキーの表示を促すことができる。   On the other hand, when the distance from the portable terminal 2 exceeds the threshold, the remote screen is displayed in a state where all the setting value input areas D11 and D12 are not selected, as shown in FIG. Thereby, it is possible to prompt the user to display the key corresponding to the external key with such display of the selected state.

ユーザーがいずれかの設定値入力エリアをタッチすると、該設定値入力エリアが選択状態に切り替わると共に、ＭＦＰ１からの画面データに基づいて、携帯端末２の表示部２０４ａにソフトウェアテンキー等が表示される。ユーザーはこのソフトウェアキーを用いて、設定値を入力することができる。   When the user touches any set value input area, the set value input area is switched to a selected state, and a software numeric keypad or the like is displayed on the display unit 204a of the portable terminal 2 based on the screen data from the MFP 1. The user can input a set value using the software key.

図１０及び図１１は、この発明の他の実施形態を示すものである。この実施形態では、携帯端末２との距離が閾値を超える場合、携帯端末２の表示部２０４ａには、ＭＦＰ１からの画面データに基づいて、図１０に示すように、設定値入力エリアを有する操作画面Ｄ５と共にソフトウェアテンキー３０１がリモート画面として表示されている。   10 and 11 show another embodiment of the present invention. In this embodiment, when the distance to the mobile terminal 2 exceeds the threshold, the display unit 204a of the mobile terminal 2 has an operation having a set value input area as shown in FIG. 10 based on the screen data from the MFP 1. A software numeric keypad 301 is displayed as a remote screen together with the screen D5.

この状態で、携帯端末２を所持するユーザーがＭＦＰ１に向かって移動した結果、携帯端末２との距離が閾値以内になったとする。すると、ＭＦＰ１は新たな画面データを携帯端末２に送信し、携帯端末２の表示部２０４ａには、図１１に示すように、ソフトウェアテンキーの表示が消失しＭＦＰ１の外キーを使用できる旨のメッセージＤ６が表示されたリモート画面に切り替わる。つまり、ユーザーにＭＦＰ１の外キーの使用を促す画面に切り替わる。この結果、携帯端末２を所持したユーザがＭＦＰ１に近づいても、ソフトウェアキーが継続表示され操作性を妨げるという不都合を解消できる。   In this state, it is assumed that the user holding the mobile terminal 2 moves toward the MFP 1 and as a result, the distance from the mobile terminal 2 is within the threshold. Then, the MFP 1 transmits new screen data to the portable terminal 2, and a message that the display of the software numeric keypad disappears and the external key of the MFP 1 can be used on the display unit 204 a of the portable terminal 2 as shown in FIG. The screen switches to the remote screen on which D6 is displayed. That is, the screen is switched to a screen prompting the user to use the external key of the MFP 1. As a result, even when the user who has the portable terminal 2 approaches the MFP 1, the inconvenience that the software key is continuously displayed and the operability is hindered can be solved.

また、図示は省略したが、携帯端末２を所持するユーザーがＭＦＰ１から離間する方向に移動して、携帯端末２との距離が閾値以内から閾値を超えるものとなった場合は、リモート画面は図１１の表示から図１０の表示へと切り替わる。   Although not shown in the figure, when the user holding the mobile terminal 2 moves away from the MFP 1 and the distance from the mobile terminal 2 becomes within the threshold value and exceeds the threshold value, the remote screen is displayed as shown in FIG. 11 is switched to the display of FIG.

図１２は、ＭＦＰ１と携帯端末２との間で実行される情報通信処理のシーケンス図である。   FIG. 12 is a sequence diagram of information communication processing executed between the MFP 1 and the portable terminal 2.

携帯端末２はＭＦＰ１に接続要求を送信すると（丸数字１）、ＭＦＰ１は接続許可を応答する（丸数字２）。次いで、携帯端末２はＭＦＰ２に画面データの取得を要求すると（丸数字３）、ＭＦＰ１は操作画面の画面データを携帯端末２に送信する（丸数字４）。   When the portable terminal 2 transmits a connection request to the MFP 1 (circle numeral 1), the MFP 1 responds with a connection permission (circle numeral 2). Next, when the portable terminal 2 requests the MFP 2 to acquire screen data (circle numeral 3), the MFP 1 transmits the screen data of the operation screen to the portable terminal 2 (circle numeral 4).

次に、携帯端末２は外キーに対応するキーの画面データを要求する（丸数字５）。ＭＦＰ１は、携帯端末２の位置情報を取得し、携帯端末２との距離を検出する。   Next, the portable terminal 2 requests screen data of a key corresponding to the outer key (circle numeral 5). The MFP 1 acquires the position information of the mobile terminal 2 and detects the distance from the mobile terminal 2.

距離が閾値以下の場合つまり携帯端末２との距離が近い場合は、ＭＦＰ１は、外キー対応キーが非表示でＭＦＰ１の外キーの使用を促すメッセージを含む画面データを生成し、携帯端末２に送信する（丸数字６）。携帯端末２は受信した画面データに基づいて、ＭＦＰ１の外キーの使用を促すメッセージを含むリモート画面を表示する。   When the distance is equal to or smaller than the threshold value, that is, when the distance to the mobile terminal 2 is close, the MFP 1 generates screen data including a message that prompts the user to use the external key of the MFP 1 without displaying the key corresponding to the external key. Send (round numeral 6). Based on the received screen data, the portable terminal 2 displays a remote screen including a message prompting the use of the external key of the MFP 1.

一方、距離が閾値を超える場合つまり携帯端末２との距離が遠い場合は、ＭＦＰ１は、外キーに対応するソフトウェアキーの配置情報を含む画面データを生成し、携帯端末２に送信する（丸数字７）。携帯端末２は受信した画面データに基づいて、外キーに対応するソフトウェアキーの配置情報に従ってソフトウェアキーが配置されたリモート画面を表示する。   On the other hand, when the distance exceeds the threshold value, that is, when the distance from the mobile terminal 2 is far, the MFP 1 generates screen data including software key arrangement information corresponding to the external key and transmits the screen data to the mobile terminal 2 (circle numerals). 7). Based on the received screen data, the portable terminal 2 displays a remote screen on which the software key is arranged according to the arrangement information of the software key corresponding to the external key.

携帯端末２に表示されたリモート画面において、ユーザーが、外キーに対応するソフトウェアキー３００のうちのいずれかを押下すると、携帯端末２は、押下されたキー３００のオンオフ情報（キー３００がボタンの場合はオン情報のみ、トグルスイッチの場合はオンオフ情報）をＭＦＰ１に送信する（丸数字８）。ＭＦＰ１は受信したオンオフ情報等を解析し、対応するジョブ処理等を実行し、あるいは次画面データの生成を実行する。   When the user presses one of the software keys 300 corresponding to the external key on the remote screen displayed on the mobile terminal 2, the mobile terminal 2 displays on / off information of the pressed key 300 (the key 300 is a button In the case of ON / OFF information in the case of the toggle switch, the ON / OFF information in the case of the toggle switch) is transmitted to the MFP 1 (circle numeral 8). The MFP 1 analyzes the received on / off information and the like, executes corresponding job processing and the like, or generates next screen data.

図１３は、ＭＦＰ１と携帯端末２との間で実行される情報通信の別のシーケンス図である。   FIG. 13 is another sequence diagram of information communication executed between the MFP 1 and the portable terminal 2.

携帯端末２はＭＦＰ１に接続要求を送信すると（丸数字１）、ＭＦＰ１は接続許可を応答する（丸数字２）。次いで、携帯端末２はＭＦＰ２に画面データの取得を要求すると（丸数字３）、ＭＦＰ１は操作画面の画面データを携帯端末２に送信する（丸数字４）。   When the portable terminal 2 transmits a connection request to the MFP 1 (circle numeral 1), the MFP 1 responds with a connection permission (circle numeral 2). Next, when the portable terminal 2 requests the MFP 2 to acquire screen data (circle numeral 3), the MFP 1 transmits the screen data of the operation screen to the portable terminal 2 (circle numeral 4).

次に、携帯端末２は外キーに対応するキーの画面データを要求する（丸数字５）。ＭＦＰ１は、携帯端末２の位置情報を取得し、携帯端末２との距離を検出する。   Next, the portable terminal 2 requests screen data of a key corresponding to the outer key (circle numeral 5). The MFP 1 acquires the position information of the mobile terminal 2 and detects the distance from the mobile terminal 2.

距離が閾値以下の場合つまり携帯端末２との距離が近い場合は、ＭＦＰ１は、外キー対応キーが非表示でＭＦＰ１の外キーの使用を促すメッセージを含む画面データを生成して、携帯端末２に送信する（丸数字６）。携帯端末２は受信した画面データに基づいて、ＭＦＰ１の外キーの使用を促すメッセージを含むリモート画面を表示する。   When the distance is equal to or smaller than the threshold value, that is, when the distance to the mobile terminal 2 is short, the MFP 1 generates screen data including a message prompting the use of the external key of the MFP 1 without displaying the key corresponding to the external key. (Circle number 6). Based on the received screen data, the portable terminal 2 displays a remote screen including a message prompting the use of the external key of the MFP 1.

一方、距離が閾値を超える場合つまり携帯端末２との距離が遠い場合は、ＭＦＰ１は、外キーに対応するソフトウェアキーの画像データを含む画面データを生成し、携帯端末２に送信する（丸数字９）。携帯端末２は受信した画面データに基づいて、外キーに対応するソフトウェアキーを有するリモート画面を表示する。   On the other hand, when the distance exceeds the threshold value, that is, when the distance from the mobile terminal 2 is far, the MFP 1 generates screen data including image data of the software key corresponding to the external key and transmits the screen data to the mobile terminal 2 (circle numerals). 9). Based on the received screen data, the portable terminal 2 displays a remote screen having a software key corresponding to the external key.

携帯端末２に表示されたリモート画面において、ユーザーが、外キーに対応するソフトウェアキー３００のうちのいずれかを押下すると、携帯端末２は、押下されたキー３００の位置を示す座標データとタッチ情報をＭＦＰ１に送信する（丸数字１０）。ＭＦＰ１は受信した座標データ等を解析し、対応するジョブ処理等を実行し、あるいは次画面データの生成を実行する。   When the user presses any one of the software keys 300 corresponding to the external key on the remote screen displayed on the mobile terminal 2, the mobile terminal 2 displays coordinate data and touch information indicating the position of the pressed key 300. Is transmitted to the MFP 1 (circle numeral 10). The MFP 1 analyzes the received coordinate data and the like, executes corresponding job processing or the like, or generates next screen data.

図１４は、ＭＦＰ１の動作を示すフローチャートである。この動作は、ＭＦＰ１のＣＰＵ１０１がＲＯＭ１０２等の記録媒体に記録された動作プログラムに従って動作することにより実行される。   FIG. 14 is a flowchart showing the operation of the MFP 1. This operation is executed by the CPU 101 of the MFP 1 operating according to an operation program recorded on a recording medium such as the ROM 102.

ステップＳ０１で携帯端末２からの接続要求を待ち、接続要求あれば（ステップＳ０１でＹＥＳ）、ステップＳ０２で、接続許可を応答する。   In step S01, a connection request from the portable terminal 2 is waited. If there is a connection request (YES in step S01), a connection permission is returned in step S02.

次いで、ステップＳ０３で、携帯端末２から画面データの取得要求を待ち、取得要求があれば（ステップＳ０３でＹＥＳ）、ステップＳ０４で自装置の操作画面データを携帯端末２に送信する。   Next, in step S03, the mobile terminal 2 waits for an acquisition request for screen data. If there is an acquisition request (YES in step S03), the operation screen data of its own device is transmitted to the mobile terminal 2 in step S04.

ステップＳ０５では、携帯端末２との距離を検出し、ステップＳ０６では、携帯端末２との距離が閾値を超えるかどうかを判断する。閾値を超えていなければ（ステップＳ０６でＮＯ）、ステップＳ０９で、ＭＦＰ１の外キーに対応するキーが非表示で、かつＭＦＰ１の外キーの使用を促すメッセージを有する画面データを生成した後、ステップＳ１０に進む。閾値を超えていれば（ステップＳ０６でＹＥＳ）、ステップＳ０７で、外キーに対応するキーの画像を生成し、ステップＳ０８で、生成した画像を操作画面の画像に合成して画面データを生成したのち、ステップＳ１０に進む。   In step S05, the distance to the mobile terminal 2 is detected, and in step S06, it is determined whether the distance to the mobile terminal 2 exceeds a threshold value. If the threshold value is not exceeded (NO in step S06), in step S09, after generating screen data having a message corresponding to the external key of MFP 1 hidden and a message prompting the use of the external key of MFP 1 is generated, Proceed to S10. If the threshold value is exceeded (YES in step S06), a key image corresponding to the external key is generated in step S07, and screen data is generated by combining the generated image with the operation screen image in step S08. Thereafter, the process proceeds to step S10.

ステップＳ１０では、生成した画面データを携帯端末２に送信し、ステップＳ１１で、画面内容に変更があるかどうかを判断する。変更があれば（ステップＳ１１でＹＥＳ）、ステップＳ０５に戻る。変更がなければ（ステップＳ１１でＮＯ）、ステップＳ１２で、携帯端末２からタッチ位置の座標データ等の操作情報を受信したかどうかを判断する。受信していなければ（ステップＳ１２でＮＯ）、ステップＳ１１に戻る。受信すると（ステップＳ１２でＹＥＳ）、ステップＳ１３に進む。   In step S10, the generated screen data is transmitted to the portable terminal 2, and in step S11, it is determined whether there is a change in the screen content. If there is a change (YES in step S11), the process returns to step S05. If there is no change (NO in step S11), it is determined in step S12 whether operation information such as coordinate data of the touch position has been received from the portable terminal 2. If not received (NO in step S12), the process returns to step S11. If received (YES in step S12), the process proceeds to step S13.

ステップＳ１３では、受信した操作情報に含まれる座標データとタッチ情報を解析し、次画面データの生成、ジョブの実行等の対応する処理を行う。   In step S13, coordinate data and touch information included in the received operation information are analyzed, and corresponding processing such as generation of next screen data and execution of a job is performed.

次いで、ステップＳ１４で、携帯端末２が接続中かどうかを調べ、接続中であれば（ステップＳ１４でＹＥＳ）、ステップＳ０５に戻る。接続中でなければ（ステップＳ１４でＮＯ）、処理を終了する。   Next, in step S14, it is checked whether or not the portable terminal 2 is connected. If it is connected (YES in step S14), the process returns to step S05. If not connected (NO in step S14), the process is terminated.

図１５は携帯端末２の動作を示すブロック図である。   FIG. 15 is a block diagram showing the operation of the mobile terminal 2.

携帯端末２はステップＳ２１で、接続要求をＭＦＰ２に送信し、ステップＳ２２では、ＭＦＰ２から接続許可の応答があるのを待つ。接続許可の応答があれば（ステップＳ２２でＹＥＳ）、ステップＳ２３で、画面データの取得要求をＭＦＰ２に送信する。   In step S21, the portable terminal 2 transmits a connection request to the MFP 2. In step S22, the portable terminal 2 waits for a response of connection permission from the MFP 2. If there is a connection permission response (YES in step S22), a screen data acquisition request is transmitted to MFP 2 in step S23.

次いで、ステップＳ２４で、画面データを受信するのを待つ。受信すると（ステップＳ２４でＹＥＳ）、ステップＳ２５で、受信した画面データに基づくリモート画面を表示部２０４ａに表示したのち、ステップＳ２６で、外キー対応画面データの取得要求をＭＦＰ１に送信する。   Next, in step S24, it waits for reception of screen data. When received (YES in step S24), in step S25, a remote screen based on the received screen data is displayed on the display unit 204a, and in step S26, an acquisition request for foreign key corresponding screen data is transmitted to the MFP 1.

ステップＳ２７では画面データを受信し、ステップＳ２８では画面データに基づいてリモート画面を表示する。この画面は、携帯端末２のＭＦＰ１との距離が閾値を超える場合は、外キーに対応するキーが表示された画面であり、携帯端末２のＭＦＰ１との距離が閾値以内の場合は、外キーに対応するキーは非表示であり、外キーの使用を促すメッセージが表示された画面である。   In step S27, screen data is received, and in step S28, a remote screen is displayed based on the screen data. This screen is a screen on which a key corresponding to the external key is displayed when the distance between the mobile terminal 2 and the MFP 1 exceeds the threshold, and the external key when the distance between the mobile terminal 2 and the MFP 1 is within the threshold. This is a screen on which a key corresponding to is not displayed and a message prompting the use of the external key is displayed.

次に、ステップＳ２９では、リモート画面に対してユーザによりタッチ操作を行われたかどうかを判断し、行われなければ（ステップＳ２９でＮＯ）、ステップＳ２８に戻る。タッチ操作が行われると（ステップＳ２９でＹＥＳ）、ステップＳ３０では、接続終了の操作かどうかを判断する。接続終了の操作であれば（ステップＳ３０でＹＥＳ）、処理を終了する。接続終了の操作でなければ（ステップＳ３０でＹＥＳ）、ステップＳ３１で、タッチ位置の座標データとタッチ情報をＭＦＰ１に通知した後、ステップＳ２４に戻る。   Next, in step S29, it is determined whether or not a touch operation has been performed by the user on the remote screen. If not (NO in step S29), the process returns to step S28. When a touch operation is performed (YES in step S29), it is determined in step S30 whether the operation is a connection end operation. If it is a connection termination operation (YES in step S30), the process is terminated. If the operation is not a connection termination operation (YES in step S30), in step S31, the coordinate data and touch information of the touch position are notified to the MFP 1, and the process returns to step S24.

１ 画像形成装置
２ 携帯端末装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０４ スキャナ部
１０５ プリント部
１０６ 記憶部
１０７ 操作パネル部
１０７ｂ 表示部
１０９ ＷＩＦＩモジュール
１１１ ＵＳＢインターフェース
１２０、１２１ 外キー
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ 記憶部
２０４ａ 表示部
２０４ｂ 操作部
２０５ ＷＩＦＩモジュール
２０７ ＵＳＢインターフェース
２０９ 連携部
３００ 外キーに対応するキー
Ｄ１１、Ｄ１２ 数値入力エリア DESCRIPTION OF SYMBOLS 1 Image forming apparatus 2 Portable terminal device 101 CPU
102 ROM
104 Scanner unit 105 Print unit 106 Storage unit 107 Operation panel unit 107b Display unit 109 WIFI module 111 USB interface 120, 121 External key 201 CPU
202 RAM
203 Storage Unit 204a Display Unit 204b Operation Unit 205 WIFI Module 207 USB Interface 209 Cooperation Unit 300 Keys corresponding to External Keys D11, D12 Numerical Input Area

Claims (43)

携帯端末装置に接続可能な接続手段と、
ハードウェアにより構成された外キーと、
前記接続手段により接続された携帯端末装置との距離を検出する距離検出手段と、
自装置の操作画面の画面データを生成すると共に、前記操作画面が前記外キーを使用して入力可能な場合において、前記距離検出手段により検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成し、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成する画面生成手段と、
前記画面生成手段により生成された画面データを前記携帯端末装置に送信する送信手段と、
を備えたことを特徴とする画像処理装置。 A connection means connectable to the mobile terminal device;
An external key configured by hardware,
Distance detection means for detecting a distance from the mobile terminal device connected by the connection means;
When the operation screen of the device itself is generated and the operation screen can be input using the outer key, the distance from the mobile terminal device detected by the distance detection means is less than a certain value. For example, screen data for causing the mobile terminal device to display an operation screen that prompts the use of the external key as a remote screen is generated, and when the distance from the mobile terminal device exceeds a certain value, Screen generating means for generating screen data for causing the portable terminal device to display an operation screen on which a key corresponding to the key is displayed or an operation screen on which display of the key is displayed as a remote screen;
Transmitting means for transmitting the screen data generated by the screen generating means to the portable terminal device;
An image processing apparatus comprising: 前記画面生成手段は、前記外キーの配置情報を前記画面データとして生成するとともに、携帯端末装置に前記配置情報に対応して表示された外キーをユーザーが操作したときの外キーのオン、オフ情報を、前記携帯端末装置から受信する受信手段を備えている請求項１に記載の画像処理装置。   The screen generation means generates the arrangement information of the outer key as the screen data, and turns on / off the outer key when the user operates the outer key displayed corresponding to the arrangement information on the mobile terminal device. The image processing apparatus according to claim 1, further comprising a receiving unit configured to receive information from the portable terminal device. 前記画面生成手段は、前記外キーに対応するキーが配置された操作画面を前記画面データとして生成するとともに、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信手段を備えている請求項１に記載の画像処理装置。   The screen generation means generates an operation screen in which a key corresponding to the external key is arranged as the screen data, and a user operates a key corresponding to the external key on the operation screen displayed on the mobile terminal device The image processing apparatus according to claim 1, further comprising receiving means for receiving coordinate data of a touch position at the time from the portable terminal device. 前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである請求項１〜３のいずれかに記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch. 前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である請求項１〜４のいずれかに記載の画像処理装置。   The display for prompting the use of the external key when the distance from the mobile terminal device detected by the distance detection unit is a predetermined value or less is a message indicating that the external key can be used. An image processing apparatus according to any one of the above. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である請求項１〜５のいずれかに記載の画像処理装置。   The operation screen has at least one set value input area, and a display for prompting the use of the external key when the distance from the mobile terminal device detected by the distance detection unit is a predetermined value or less is the set value input The image processing apparatus according to claim 1, wherein the image processing apparatus is a display indicating that the area is in a selected state. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合の前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である請求項１〜６のいずれかに記載の画像処理装置。   The operation screen has at least one set value input area, and a display prompting the display of a key corresponding to the external key when the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value, The image processing apparatus according to claim 1, wherein the image processing apparatus is a display indicating that the setting value input area is not selected. 前記携帯端末装置との距離が一定値を超える場合に操作画面に表示される前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである請求項１〜７のいずれかに記載の画像処理装置。   When the distance from the portable terminal device exceeds a certain value, the keys corresponding to the external key displayed on the operation screen are a preview key, a guide key, an enlarged display key, a utility key, and a job mode switch that exist as external keys. The image processing apparatus according to claim 1, wherein the image processing apparatus emulates at least one of the keys. 前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値を超えた場合には、携帯端末装置との距離が一定値を超えた場合の画面データを再度生成し、携帯端末装置へ送信する請求項１〜８のいずれかに記載の画像処理装置。   When the screen data when the distance from the mobile terminal device detected by the distance detection means is equal to or less than a certain value is transmitted to the mobile terminal device, and the screen based on the screen data is displayed on the mobile terminal device, the distance When the distance from the mobile terminal device detected by the detection means exceeds a certain value, the screen data when the distance from the mobile terminal device exceeds the certain value is generated again and transmitted to the mobile terminal device Item 9. The image processing apparatus according to any one of Items 1 to 8. 前記距離検出手段により検出された携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値以下となった場合には、携帯端末装置との距離が一定値以下の場合の画面データを再度生成し、携帯端末装置へ送信する請求項１〜９のいずれかに記載の画像処理装置。   When the screen data when the distance from the mobile terminal device detected by the distance detection unit exceeds a certain value is transmitted to the mobile terminal device, and the screen based on the screen data is displayed on the mobile terminal device, the distance is When the distance from the mobile terminal device detected by the detecting means is equal to or smaller than a certain value, the screen data when the distance from the portable terminal device is smaller than the certain value is generated again and transmitted to the portable terminal device. Item 10. The image processing apparatus according to any one of Items 1 to 9. 携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置において実行される画面データの生成方法であって、
前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、
自装置の操作画面の画面データを生成すると共に、前記操作画面が前記外キーを使用して入力可能な場合において、前記距離検出ステップにおいて検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成し、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成する画面生成ステップと、
前記画面生成ステップにおいて生成された画面データを前記携帯端末装置に送信する送信ステップと、
を備えたことを特徴とする画面データの生成方法。 A screen data generation method executed in an image processing apparatus including a connection means connectable to a mobile terminal device and an external key configured by hardware,
A distance detection step of detecting a distance from the mobile terminal device connected by the connection means;
When the screen data of the operation screen of the own device is generated and the operation screen can be input using the outer key, the distance from the mobile terminal device detected in the distance detection step is less than a certain value. For example, screen data for causing the mobile terminal device to display an operation screen that prompts the use of the external key as a remote screen is generated, and when the distance from the mobile terminal device exceeds a certain value, A screen generation step of generating screen data for displaying the operation screen on which the key corresponding to the key is displayed, or the operation screen on which the display of prompting the key is displayed as a remote screen on the mobile terminal device;
A transmission step of transmitting the screen data generated in the screen generation step to the mobile terminal device;
A method for generating screen data, comprising: 携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置のコンピュータに、
前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、
自装置の操作画面の画面データを生成すると共に、前記操作画面が前記外キーを使用して入力可能な場合において、前記距離検出ステップにおいて検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成し、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを生成する画面生成ステップと、
前記画面生成ステップにおいて生成された画面データを前記携帯端末装置に送信する送信ステップと、
を実行させるための画面データの生成プログラム。 In a computer of an image processing apparatus provided with connection means connectable to a portable terminal device and an external key configured by hardware,
A distance detection step of detecting a distance from the mobile terminal device connected by the connection means;
When the screen data of the operation screen of the own device is generated and the operation screen can be input using the outer key, the distance from the mobile terminal device detected in the distance detection step is less than a certain value. For example, screen data for causing the mobile terminal device to display an operation screen that prompts the use of the external key as a remote screen is generated, and when the distance from the mobile terminal device exceeds a certain value, A screen generation step of generating screen data for displaying the operation screen on which the key corresponding to the key is displayed, or the operation screen on which the display of prompting the key is displayed as a remote screen on the mobile terminal device;
A transmission step of transmitting the screen data generated in the screen generation step to the mobile terminal device;
Screen data generation program for executing 前記画面生成ステップでは、前記外キーの配置情報を前記画面データとして生成する処理を前記コンピュータに実行させるとともに、携帯端末装置に前記配置情報に対応して表示された外キーをユーザーが操作したときの外キーのオン、オフ情報を、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる請求項１２に記載の画面データの生成プログラム。In the screen generation step, when causing the computer to execute a process of generating the arrangement information of the outer key as the screen data, and when the user operates the outer key displayed on the portable terminal device corresponding to the arrangement information The screen data generation program according to claim 12, further causing the computer to execute a receiving step of receiving information on ON / OFF of the external key from the portable terminal device. 前記画面生成ステップでは、前記外キーに対応するキーが配置された操作画面を前記画面データとして生成する前記コンピュータに実行させるとともに、携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる請求項１２に記載の画面データの生成プログラム。In the screen generation step, the operation screen in which a key corresponding to the external key is arranged is executed by the computer that generates the screen data, and the key corresponding to the external key on the operation screen displayed on the mobile terminal device The screen data generation program according to claim 12, further causing the computer to execute a reception step of receiving coordinate data of a touch position when the user operates the mobile terminal device from the mobile terminal device. 前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである請求項１２〜１４のいずれかに記載の画面データの生成プログラム。15. The screen data generation program according to claim 12, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である請求項１２〜１５のいずれかに記載の画面データの生成プログラム。16. The display prompting the use of the external key when the distance from the mobile terminal device detected by the distance detecting step is equal to or smaller than a predetermined value is a message indicating that the external key can be used. Program for generating screen data as described in any of the above. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である請求項１２〜１６のいずれかに記載の画面データの生成プログラム。The operation screen has at least one set value input area, and a display prompting the use of the external key when the distance from the mobile terminal device detected by the distance detecting step is a predetermined value or less is the set value input The screen data generation program according to any one of claims 12 to 16, which is a display indicating that an area is in a selected state. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合の前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である請求項１２〜１７のいずれかに記載の画面データの生成プログラム。The operation screen has at least one set value input area, and a display prompting the display of the key corresponding to the outer key when the distance from the mobile terminal device detected by the distance detection step exceeds a certain value, The screen data generation program according to any one of claims 12 to 17, which is a display indicating that the set value input area is not selected. 前記携帯端末装置との距離が一定値を超える場合に操作画面に表示される前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである請求項１２〜１８のいずれかに記載の画面データの生成プログラム。When the distance from the portable terminal device exceeds a certain value, the keys corresponding to the external key displayed on the operation screen are a preview key, a guide key, an enlarged display key, a utility key, and a job mode switch that exist as external keys. 19. The screen data generation program according to claim 12, wherein the screen data generation program emulates at least one of the keys. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値を超えた場合には、携帯端末装置との距離が一定値を超えた場合の画面データを再度生成し、携帯端末装置へ送信する処理を前記コンピュータにさらに実行させる請求項１２〜１９のいずれかに記載の画面データの生成プログラム。When the screen data when the distance from the mobile terminal device detected by the distance detection step is equal to or less than a certain value is transmitted to the mobile terminal device, and the screen based on the screen data is displayed on the mobile terminal device, the distance is When the distance from the mobile terminal device detected by the detection step exceeds a certain value, a process for generating screen data again when the distance from the mobile terminal device exceeds a certain value and transmitting the screen data to the mobile terminal device The program for generating screen data according to claim 12, further causing the computer to execute. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値以下となった場合には、携帯端末装置との距離が一定値以下の場合の画面データを再度生成し、携帯端末装置へ送信する処理を前記コンピュータに実行させる請求項１２〜２０のいずれかに記載の画面データの生成プログラム。When the screen data when the distance to the mobile terminal device detected by the distance detection step exceeds a certain value is transmitted to the mobile terminal device, and the screen based on the screen data is displayed on the mobile terminal device, the distance is When the distance from the mobile terminal device detected by the detection step is less than or equal to a certain value, the screen data when the distance from the mobile terminal device is less than or equal to the certain value is generated again and transmitted to the mobile terminal device The program for generating screen data according to any one of claims 12 to 20, wherein the computer is executed. 携帯端末装置に接続可能な接続手段と、A connection means connectable to the mobile terminal device;
ハードウェアにより構成された外キーと、An external key configured by hardware,
前記接続手段により接続された携帯端末装置との距離を検出する距離検出手段と、Distance detection means for detecting a distance from the mobile terminal device connected by the connection means;
自装置の操作画面が前記外キーを使用して入力可能な場合において、前記距離検出手段により検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを前記携帯端末装置に送信する送信手段と、When the operation screen of the own device can be input using the outer key, if the distance from the portable terminal device detected by the distance detecting means is equal to or smaller than a certain value, a display prompting the use of the outer key is displayed. Transmitting means for transmitting screen data for causing the mobile terminal device to display the operation screen made as a remote screen to the mobile terminal device;
を備えたことを特徴とする画像処理装置。An image processing apparatus comprising: 前記画面データには前記外キーの配置情報が含まれ、The screen data includes arrangement information of the outer key,
携帯端末装置に前記配置情報に対応して表示された外キーをユーザーが操作したときの外キーのオン、オフ情報を、前記携帯端末装置から受信する受信手段を備えている請求項２２に記載の画像処理装置。23. The receiving device according to claim 22, further comprising: a receiving unit configured to receive, from the mobile terminal device, on / off information of the external key when the user operates the external key displayed on the mobile terminal device corresponding to the arrangement information. Image processing apparatus. 前記操作画面には前記外キーに対応するキーが配置されており、A key corresponding to the outer key is arranged on the operation screen,
携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信手段を備えている請求項２２に記載の画像処理装置。23. The receiving device according to claim 22, further comprising receiving means for receiving, from the mobile terminal device, coordinate data of a touch position when a user operates a key corresponding to an external key on an operation screen displayed on the mobile terminal device. Image processing device. 前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである請求項２２〜２４のいずれかに記載の画像処理装置。The image processing apparatus according to any one of claims 22 to 24, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch. 前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である請求項２２〜２５のいずれかに記載の画像処理装置。The image processing apparatus according to any one of claims 22 to 25, wherein the display prompting the use of the external key is a message indicating that the external key can be used. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である請求項２２〜２６のいずれかに記載の画像処理装置。27. The operation screen has at least one set value input area, and the display prompting the use of the external key is a display indicating that the set value input area is selected. An image processing apparatus according to claim 1. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である請求項２２〜２７のいずれかに記載の画像処理装置。The operation screen has at least one set value input area, and the display for prompting the display of the key corresponding to the outside key is a display indicating that the set value input area is not selected. The image processing device according to any one of 22 to 27. 前記送信手段は、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを前記携帯端末装置へ送信する請求項２２〜２８のいずれかに記載の画像処理装置。When the distance from the mobile terminal device exceeds a certain value, the transmission means uses an operation screen on which a key corresponding to the outer key is displayed or an operation screen on which a display for prompting the key is displayed as a remote screen. The image processing device according to any one of claims 22 to 28, wherein screen data to be displayed on the mobile terminal device is transmitted to the mobile terminal device. 前記携帯端末装置との距離が一定値を超える場合に操作画面に表示される前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである請求項２９に記載の画像処理装置。When the distance from the portable terminal device exceeds a certain value, the keys corresponding to the external key displayed on the operation screen are a preview key, a guide key, an enlarged display key, a utility key, and a job mode switch that exist as external keys. 30. The image processing apparatus according to claim 29, wherein at least one of the keys is emulated. 前記距離検出手段により検出された携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値を超えた場合に、前記送信手段は前記画面データを携帯端末装置へ送信する請求項２９または３０に記載の画像処理装置。When the screen data when the distance from the mobile terminal device detected by the distance detection means is equal to or less than a certain value is transmitted to the mobile terminal device, and the screen based on the screen data is displayed on the mobile terminal device, the distance The image processing apparatus according to claim 29 or 30, wherein the transmission unit transmits the screen data to the mobile terminal device when a distance from the mobile terminal device detected by the detection unit exceeds a certain value. 携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出手段により検出された携帯端末装置との距離が一定値以下となった場合には、前記送信手段は、携帯端末装置との距離が一定値以下の場合の画面データを再度携帯端末装置へ送信する請求項２９〜３１のいずれかに記載の画像処理装置。The mobile terminal detected by the distance detection means when the screen data when the distance to the mobile terminal device exceeds a certain value is transmitted to the mobile terminal device and the screen based on the screen data is displayed on the mobile terminal device 32. Any one of claims 29 to 31, wherein, when the distance to the device is equal to or less than a certain value, the transmission means transmits again the screen data when the distance to the portable terminal device is equal to or less than the certain value to the portable terminal device. An image processing apparatus according to claim 1. 携帯端末装置に接続可能な接続手段と、ハードウェアにより構成された外キーとを備えた画像処理装置のコンピュータに、In a computer of an image processing apparatus provided with connection means connectable to a portable terminal device and an external key configured by hardware,
前記接続手段により接続された携帯端末装置との距離を検出する距離検出ステップと、A distance detection step of detecting a distance from the mobile terminal device connected by the connection means;
自装置の操作画面が前記外キーを使用して入力可能な場合において、前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下であれば、前記外キーの使用を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを前記携帯端末装置に送信する送信ステップと、When the operation screen of the own device can be input using the outer key, if the distance from the mobile terminal device detected by the distance detecting step is equal to or less than a certain value, a display prompting the use of the outer key is displayed. A transmission step of transmitting to the mobile terminal device screen data for causing the mobile terminal device to display the made operation screen as a remote screen;
を実行させるためのリモート画面制御プログラム。Remote screen control program to execute. 前記画面データには前記外キーの配置情報が含まれ、The screen data includes arrangement information of the outer key,
携帯端末装置に前記配置情報に対応して表示された外キーをユーザーが操作したときの外キーのオン、オフ情報を、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる請求項３３に記載のリモート画面制御プログラム。The computer further executes a receiving step of receiving, from the mobile terminal device, on / off information of the external key when the user operates the external key displayed on the mobile terminal device corresponding to the arrangement information. The remote screen control program according to 33. 前記操作画面には前記外キーに対応するキーが配置されており、A key corresponding to the outer key is arranged on the operation screen,
携帯端末装置に表示された操作画面上の外キーに対応するキーをユーザーが操作したときのタッチ位置の座標データを、前記携帯端末装置から受信する受信ステップを前記コンピュータにさらに実行させる請求項３３に記載のリモート画面制御プログラム。The computer further executes a reception step of receiving coordinate data of a touch position when the user operates a key corresponding to an external key on the operation screen displayed on the mobile terminal device from the mobile terminal device. Remote screen control program described in 1. 前記外キーは、ハードテンキー、ハードキーボードまたはスイッチのうちの少なくともいずれかである請求項３３〜３５のいずれかに記載のリモート画面制御プログラム。36. The remote screen control program according to claim 33, wherein the external key is at least one of a hard numeric keypad, a hard keyboard, and a switch. 前記外キーの使用を促す表示は前記外キーを使用可能であることのメッセージの表示である請求項３３〜３６のいずれかに記載のリモート画面制御プログラム。The remote screen control program according to any one of claims 33 to 36, wherein the display prompting the use of the external key is a display of a message indicating that the external key can be used. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーの使用を促す表示は、前記設定値入力エリアが選択された状態にあることを示す表示である請求項３３〜３７のいずれかに記載のリモート画面制御プログラム。The operation screen has at least one set value input area, and the display prompting the use of the external key is a display indicating that the set value input area is selected. The remote screen control program described in the above. 前記操作画面は少なくとも一つの設定値入力エリアを有し、前記外キーに対応するキーの表示を促す表示は、前記設定値入力エリアが選択されていない状態にあることを示す表示である請求項３３〜３８のいずれかに記載のリモート画面制御プログラム。The operation screen has at least one set value input area, and the display for prompting the display of the key corresponding to the outside key is a display indicating that the set value input area is not selected. The remote screen control program according to any one of 33 to 38. 前記送信ステップでは、携帯端末装置との距離が一定値を超える場合は、前記外キーに対応するキーが表示された操作画面、または該キーの表示を促す表示がなされた操作画面をリモート画面として前記携帯端末装置に表示させるための画面データを前記携帯端末装置へ送信する処理を前記コンピュータに実行させる請求項３３〜３９のいずれかに記載のリモート画面制御プログラム。In the transmission step, when the distance to the mobile terminal device exceeds a certain value, an operation screen on which a key corresponding to the external key is displayed or an operation screen on which a display for prompting the key is displayed is used as a remote screen. The remote screen control program according to any one of claims 33 to 39, which causes the computer to execute a process of transmitting screen data to be displayed on the mobile terminal device to the mobile terminal device. 前記携帯端末装置との距離が一定値を超える場合に操作画面に表示される前記外キーに対応するキーは、外キーとして存在するプレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キーのうちの少なくともいずれかのキーをエミュレートしたものである請求項４０に記載のリモート画面制御プログラム。When the distance from the portable terminal device exceeds a certain value, the keys corresponding to the external key displayed on the operation screen are a preview key, a guide key, an enlarged display key, a utility key, and a job mode switch that exist as external keys. 41. The remote screen control program according to claim 40, which emulates at least one of the keys. 前記距離検出ステップにより検出された携帯端末装置との距離が一定値以下の場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値を超えた場合に、前記送信ステップでは前記画面データを携帯端末装置へ送信する処理を前記コンピュータに実行させる請求項４０または４１に記載のリモート画面制御プログラム。When the screen data when the distance from the mobile terminal device detected by the distance detection step is equal to or less than a certain value is transmitted to the mobile terminal device, and the screen based on the screen data is displayed on the mobile terminal device, the distance is 42. The method according to claim 40, wherein when the distance from the mobile terminal device detected by the detection step exceeds a certain value, the transmission step causes the computer to execute a process of transmitting the screen data to the mobile terminal device. Remote screen control program. 携帯端末装置との距離が一定値を超える場合の画面データが携帯端末装置へ送信され、携帯端末装置で該画面データに基づく画面が表示されているときに、距離検出ステップにより検出された携帯端末装置との距離が一定値以下となった場合には、前記送信ステップでは、携帯端末装置との距離が一定値以下の場合の画面データを再度携帯端末装置へ送信する処理を前記コンピュータに実行させる請求項４０〜４２のいずれかに記載のリモート画面制御プログラム。The mobile terminal detected by the distance detection step when screen data when the distance to the mobile terminal device exceeds a certain value is transmitted to the mobile terminal device and a screen based on the screen data is displayed on the mobile terminal device When the distance to the device is equal to or less than a certain value, the transmission step causes the computer to execute processing for transmitting screen data to the portable terminal device again when the distance to the portable terminal device is equal to or less than the certain value. The remote screen control program according to any one of claims 40 to 42.
JP2012289151A 2012-12-28 2012-12-28 Image processing apparatus, screen data generation method, and program Active JP6089702B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012289151A JP6089702B2 (en) 2012-12-28 2012-12-28 Image processing apparatus, screen data generation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012289151A JP6089702B2 (en) 2012-12-28 2012-12-28 Image processing apparatus, screen data generation method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017022530A Division JP6418258B2 (en) 2017-02-09 2017-02-09 Image processing apparatus and remote screen control program

Publications (2)

Publication Number Publication Date
JP2014131250A JP2014131250A (en) 2014-07-10
JP6089702B2 true JP6089702B2 (en) 2017-03-08

Family

ID=51409240

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012289151A Active JP6089702B2 (en) 2012-12-28 2012-12-28 Image processing apparatus, screen data generation method, and program

Country Status (1)

Country Link
JP (1) JP6089702B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6572753B2 (en) * 2015-11-25 2019-09-11 コニカミノルタ株式会社 Image forming apparatus, control method thereof, and program
JP6825349B2 (en) * 2016-12-16 2021-02-03 富士ゼロックス株式会社 Information processing equipment, image processing equipment and programs
JP6418258B2 (en) * 2017-02-09 2018-11-07 コニカミノルタ株式会社 Image processing apparatus and remote screen control program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050661A (en) * 2001-08-06 2003-02-21 Casio Comput Co Ltd Electronic equipment with communicating function and communication program
JP4944510B2 (en) * 2006-06-23 2012-06-06 キヤノン株式会社 Information processing apparatus, control method therefor, and program
JP5304829B2 (en) * 2011-03-31 2013-10-02 ブラザー工業株式会社 Image recording apparatus, portable terminal, image recording system, and program

Also Published As

Publication number Publication date
JP2014131250A (en) 2014-07-10

Similar Documents

Publication Publication Date Title
JP5720661B2 (en) Mobile terminal device, image processing cooperation system, screen data display method and display program
JP5776725B2 (en) Image processing cooperation system, portable terminal device, image processing cooperation method, and image processing cooperation program
EP2779614B1 (en) Control of an image processing apparatus using a mobile device
JP5765366B2 (en) Image processing device, portable terminal device, remote screen data creation program and display control program
EP2966563B1 (en) Contact information transfer system, contact information transfer method, portable terminal apparatus, and contact information transfer program
JP6381247B2 (en) System having image processing apparatus and portable terminal
JP6035985B2 (en) Image processing apparatus, control program for image processing apparatus, and image processing system
JP6003939B2 (en) Image processing linkage system and linkage method, portable terminal device, and image processing linkage program
EP2712167B1 (en) Image processing apparatus, operation standardization method, and computer-readable recording medium encoded with operation standardization program
JP6170452B2 (en) Image processing apparatus and system including the same
JP5696721B2 (en) Display processing apparatus, image forming apparatus, remote screen display processing system, and display processing method
JP6418258B2 (en) Image processing apparatus and remote screen control program
JP6252028B2 (en) Image processing system, image processing apparatus, and remote screen display control program
JP6089702B2 (en) Image processing apparatus, screen data generation method, and program
JP5692541B2 (en) Image processing linkage system, linkage method, portable terminal device, and linkage program
JP5907002B2 (en) Image processing cooperation system, image processing device, and portable terminal device
JP5853999B2 (en) Image forming system, image forming apparatus, remote control device, and program
JP6191470B2 (en) Image processing system, image processing apparatus, and portable terminal device
US10785376B2 (en) Image processing apparatus for sending user interface data
US8873077B2 (en) Image forming apparatus, application switching method, and non-transitory computer-readable recording medium encoded with application switching program
JP6127800B2 (en) Image processing system, remote screen display control method, portable terminal device, and remote screen display control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170123

R150 Certificate of patent or registration of utility model

Ref document number: 6089702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150